C++-Unreal_mcp：将 LLM 赋予虚幻引擎的“上帝之手”——基于 MCP 协议的 UE 插件深度解析

icy 昨天 6 抢沙发

默认

摘要： 赋予 AI 操控虚幻引擎的能力：Unreal_mcp 项目深度解析 1. 项目概述 Unreal_mcp 是一个前沿的开源项目，旨在将 Anthropic 提出的 MCP (Mod...

赋予 AI 操控虚幻引擎的能力：Unreal_mcp 项目深度解析

1. 项目概述

Unreal_mcp 是一个前沿的开源项目，旨在将 Anthropic 提出的 MCP (Model Context Protocol，模型上下文协议) 引入到 Epic Games 的 Unreal Engine (UE) 中。

简单来说，该项目为虚幻引擎构建了一个“桥梁”。通过这个桥梁，像 Claude 3.5 Sonnet 这样支持 MCP 的大语言模型（LLM）不再仅仅是一个能写代码的聊天机器人，而是一个能够直接感知、操作并控制虚幻引擎编辑器状态的“虚拟助手”。

核心痛点解决

在传统的 AI 辅助开发流程中，开发者需要： AI 生成代码 \(\rightarrow\) 手动复制 \(\rightarrow\) 在 UE 中创建类/修改属性 \(\rightarrow\) 编译 \(\rightarrow\) 运行测试 \(\rightarrow\) 将错误反馈给 AI。

Unreal_mcp 试图将这一流程自动化。它让 LLM 能够通过定义的 Tool（工具）直接调用 UE 的 API，实现从“建议”到“执行”的闭环。

2. 技术架构与工作原理

2.1 什么是 MCP？

MCP 是一个开放标准，允许 AI 模型通过标准化的接口访问外部数据和工具。它将服务器（MCP Server）作为中间层，向模型暴露一组可执行的 Tools（工具）、Resources（资源）和 Prompts（提示词）。

2.2 Unreal_mcp 的实现逻辑

该项目在虚幻引擎内部实现了一个 MCP 服务器，其工作流如下：

连接层：LLM 客户端（如 Claude Desktop）通过标准输入输出（stdio）或 HTTP 与 Unreal_mcp 插件通信。
指令解析：当用户要求“在场景中心生成一个发光的球体”时，LLM 识别出需要调用 spawn_actor 工具。
执行层：Unreal_mcp 接收到请求，将其转化为 UE 的 C++ API 调用（例如 GetWorld()->SpawnActor(...)）。
反馈环：执行结果（成功与否、对象 ID 等）通过 MCP 协议返回给 LLM，LLM 据此确认操作已完成。

3. 核心功能与潜在能力

基于该项目的设计，它可以实现以下极具想象力的场景：

A. 场景自动化构建

自然语言布局：输入“在场景中随机分布 50 棵树，并确保它们不在水面上”，AI 将自动计算坐标并调用生成接口。
材质快速迭代：输入“将所有金属材质的粗糙度调低，增加反射强度”，AI 批量修改材质实例参数。

B. 智能调试与分析

实时状态查询：询问“当前场景中哪个 Actor 的内存占用最高？”或“为什么这个触发器没有被激活？”，AI 通过读取引擎状态给出分析。
日志自动化分析：AI 直接读取 UE 的 Output Log，定位崩溃原因并尝试自动修复代码。

C. 快速原型开发

组件快速组装：要求 AI “创建一个具有重力感应和碰撞检测的球体，并为其添加一个随机颜色组件”，AI 自动完成组件挂载。

4. 实践实例：如何使用（假设场景）

虽然该项目处于开发阶段，但其典型的交互逻辑如下：

场景：创建并配置一个动态光源

用户指令：

“帮我在玩家角色前方 5 米处创建一个点光源，颜色设为深蓝色，亮度 5000 尼特，并让它每秒闪烁一次。”

LLM 内部处理流程（通过 Unreal_mcp）： 1. 调用 get_actor_location \(\rightarrow\) 获取玩家当前坐标 \((X, Y, Z)\)。 2. 计算目标位置 \(\rightarrow\) 计算前方 5 米的坐标 \((X', Y', Z')\)。 3. 调用 spawn_actor \(\rightarrow\) 参数：Class=PointLight, Location=(X', Y', Z')。 4. 调用 set_actor_property \(\rightarrow\) 参数：Property=LightColor, Value=Blue。 5. 调用 set_actor_property \(\rightarrow\) 参数：Property=Intensity, Value=5000。 6. 调用 add_component_logic \(\rightarrow\) 注入一个简单的定时器或蓝图逻辑实现闪烁。

最终结果： 用户在编辑器中直接看到一个蓝色的闪烁灯光出现，无需手动操作任何面板。

5. 开发者指南：如何扩展

如果你希望为 Unreal_mcp 增加新功能，可以遵循以下步骤：

5.1 定义新工具 (Tool Definition)

在 MCP 服务器的定义文件中，你需要描述工具的名称、描述以及参数模式（JSON Schema）。例如，定义一个 change_weather 工具：

json

{
  "name": "change_weather",
  "description": "Changes the sky atmosphere and lighting to a specific weather type",
  "inputSchema": {
    "type": "object",
    "properties": {
      "weatherType": { "type": "string", "enum": ["Sunny", "Rainy", "Stormy"] }
    }
  }
}

5.2 实现 C++ 逻辑

在 UE 插件的 C++ 代码中，编写对应的处理函数：

cpp

void UUnrealMCPModule::HandleChangeWeather(FString WeatherType) {
    if (WeatherType == "Rainy") {
        // 调用天气系统 API，切换至雨天预设
        MyWeatherSystem->SetPreset(RainyPreset);
    }
    // ...
}