外观
让大模型自主打游戏需要哪些模块？
一句话回答：大模型本身只会"说话"，要让它自主玩游戏需要人类搭建配套系统——至少包括导航系统（把决策翻译成按键）、知识库（存储发现的规则）、上下文总结（定期压缩记忆防遗忘），条件允许还可以加多智能体协同（多个模型分工合作）。
Claude 方案的三大模块
Claude 打宝可梦的项目（由 Anthropic 工程师 David Hershey 发起）故意不给 AI 任何游戏攻略提示词，只搭底层系统：
1. 导航系统
AI 截图当前画面并上传，人类在图像上叠加坐标信息（因为大模型对像素风画面识别不准）。AI 分析后输出"从坐标 (6,23) 去 (6,20)"这样的目标，导航程序计算路径并自动按键。这一层把大模型从"每步自己按方向键"中解放出来，减轻了大量操作负担。
2. 知识库
一个初始为空的文档。AI 通过游戏过程自行总结关键信息写入，比如属性克制关系、NPC 的提示、已获得的道具。知识库让 AI 在没有外部攻略的情况下也能积累"游戏经验"。
3. 上下文总结（记忆管理）
大模型的上下文窗口有限（Claude 3.7 约 20 万 token），而每走一步都会产生大量思考过程，很快就会撑满。解决方案：每走 50 步把之前的细节提炼成梗概，丢掉细节只留总结——正是这个机制让 AI 持续上万步而没有崩溃。
Gemini 方案的差异
Gemini 通关宝可梦蓝（由独立开发者 Joel Z 发起）的架构不同：
- 数据获取：直接从模拟器内存读取地图坐标和宝可梦状态（相当于"透视"），比 Claude 的视觉方案信息更丰富；
- 多智能体协同：除主模型负责决策，还有一个地图规划专用模型 + 一个"向导"模型（每 25 步总结过去 100 个动作，充当"攻略"反馈给主模型）；
- 人工干预：开发者会在卡关时帮助——虽然他说"不给具体攻略"，但承认有介入；
- 没有专门知识库：靠向导模型的总结来保持连贯。
两种方案的优劣
| 模块 | Claude 优势 | Gemini 优势 |
|---|---|---|
| 导航 | 坐标+导航程序自动路径规划，不走错 | 用大模型导航，灵活但更容易出错 |
| 数据获取 | 靠截图+OCR，不依赖模拟器接口 | 直接读内存，信息量远大于截图 |
| 知识积累 | 有专门知识库，结构化存储 | 靠上下文总结"向导"，保持了近 6 万步不崩 |
| 设计哲学 | 尽量少辅助，测 AI 真实水平 | 务实通关，不追求纯净实验 |
对 AI agent 设计的启发
这些架构模块并不只适用于游戏——它们是通用 AI agent 的基本构件：
- 工具调用层（类似导航系统）：让大模型的决策转化为外部操作；
- 持久化知识库（类似知识库）：agent 在运行过程中积累和检索长期记忆；
- 上下文管理（类似记忆总结）：在有限窗口内维持长任务连贯性。
常见误区
- "大模型直接就能操控软件/游戏" —— 大模型只输出文本，需要人类搭建中间层把文本翻译成操作。
- "上下文越长的模型越不需要记忆管理" —— 即使 100 万 token 的窗口，如果不做总结压缩，无关细节也会拖慢决策质量。
相关条目
作者：人工大黑 · 转写自视频《AI正在抓皮卡丘，但它的目标根本不是成为宝可梦大师》