外观
如何测评 AI 模型的协作能力?
一句话回答:用"双重测试"——一个大型编程项目考察规划与产出质量,一个真实的多轮工作任务考察语境理解和协作感;关键是给所有模型完全相同的输入并全程录屏,且要看聊天过程而不只看最终成稿,因为文档会抹平过程中的差异。
为什么跑分不够
榜单分数只能反映"会不会干活"。实际长期使用中,决定体验的是:模型能不能听懂你没说满的话、接住你的犹豫、在该推进时推进该停时停。这些只有在真实任务的多轮对话中才暴露。
测试一:大型编程项目(测规划与产出)
- 准备一份复杂的需求文档(约 3000 字,含前端、后端、多个子系统),复杂到无法一轮完成
- 用完全相同的提示词同时发给所有待测模型
- 可要求模型以多 Agent 分工协作的方式开发,考察其项目管理能力
观察维度:
- 指令遵循:需求文档里的要求是否全部照做,还是漏做要人催
- 一次跑通率:写完能不能直接运行
- 产出质量:尤其是视觉效果这种跑分测不出的东西
- 修复能力:出 bug 后能否自己修好
注意这些维度会分化:有的模型指令遵循强但产出平庸(指哪打哪),有的要人督促但每步质量最高——不能用单一分数概括。
测试二:真实工作流(测协作与"人味儿")
拿一个你真实要做的任务(如准备直播提纲),而非编造的题目。任务要包含:多轮长对话、发散想法再收敛取舍、中途出现变故需临场调整。
观察三个关键时刻:
- 你慌了的时候:想法说太多失去头绪时,好的模型会先确认约束("你有多少时间")、帮你提炼主线,而不是直接开始机械分类
- 约束变化的时候:局面变了(如合作方给了修改空间),好的模型能识别"这是好消息"并调整策略;差的模型只会"好,重新理一下思路",感知不到处境
- 你用商量语气的时候:说"不然我们……你怎么看?",差的模型听不出是在商量,直接执行
评分要点
- 分开打分:聊天体验和成稿质量分开评。典型结果是成稿差距很小(如 8.9/8.8/8.1)而聊天体验断档(9.7/8.6/6.3)
- 设标杆:以你最熟悉的最强模型为 100 分基准,其他模型相对打分
- 单一案例不下定论:补充网上其他用户的实测评价佐证,正负面都要收
常见误区
- "最终产出差不多 = 模型差不多" —— 文档会抹平过程差异;长期协作中过程体验才是决定性的。
- "情绪价值是玄学,写提示词就能补" —— 那背后是对语境和意图的理解深度,反映在取舍依据和策略质量上,提示词补不了。
相关条目
作者:人工大黑 · 转写自视频《Claude用不了的时候,GLM-5.1能顶上吗?》
