外观
怎么自己动手评测 AI 的编程能力？
一句话回答：用同一个真实项目、同一份提示词、同一个测试环境，让每个模型独立完成开发，从 one-shot 成功率、迭代效率、输出速度、视觉效果、功能完整度、代码质量六个维度打分——真实项目比抽象跑分更能反映模型的实际可用性。
为什么用真实项目而不是 benchmark
抽象 benchmark（跑分）和真实开发体验可能出入很大。一个真实项目能同时考察需求理解、全栈能力、bug 修复、上下文保持——这些才决定"这个模型你用起来爽不爽"。项目最好包含：前端界面 + 后端逻辑 + 数据库 + 一点非常规需求（如动画、离线状态推进），拉开区分度。
六个打分维度
| 维度 | 考察什么 |
|---|---|
| one-shot 成功率 | 第一次生成能不能直接跑通 |
| 迭代效率 | 修到满意要几轮，会不会越改越乱 |
| 输出速度 | 生成代码的速度，影响整体等待时间 |
| 前端视觉效果 | 页面美观度，截图并排一目了然 |
| 功能完整度 | 需求清单逐项打勾，后端有没有隐藏 bug |
| 代码质量 | 可维护性、文件结构、是否意大利面条（可让更强的模型帮你审） |
建议权重：主观 5 项 ×60% + 代码质量 ×40%。
标准化测试流程（每个模型走一遍）
- 准备：新建干净的项目文件夹，统一接入平台（如 OpenCode），开录屏和计时
- 发需求：提示词原封不动粘贴，记录模型是直接写还是先问澄清问题
- 首次生成：记录生成文件数、结构，尝试一条命令启动——能跑就截图，不能跑记报错
- 迭代修复：每轮记录"问题是什么 → 我说了什么 → 它怎么改 → 改好没"，特别留意：改一个 bug 会不会引入新 bug？越改越好还是越改越乱？
- 功能验收：拿着需求清单逐项打勾，别忘了手机端
- 最终记录：总耗时、token 消耗、截图，趁热用一两分钟记下主观感受，再打分
测试中值得额外留意的信号
- 上下文保持：写到后半段还记不记得前面的代码
- 自我纠错质量：指出 bug 后能否准确修复——"模型让你有继续提修改意见的欲望，本身就代表了模型的能力"
- 提示词遵循度：有没有偷偷省略明确要求的功能（如必填项做成选填）
- 安全隐患：让强模型审一遍代码，重点看密码存储、硬编码账户、XSS
常见误区
- "一次测试就能下结论" —— 单一项目只是采样，结论要标注时效和局限，模型迭代很快。
- "打分表就是全部" —— 分数用来排序，真实感受（哪个让你想继续用）往往更有价值。
- "测试要面面俱到" —— 与其做十个浅项目，不如一个有区分度的项目测到底。
相关条目
作者：人工大黑 · 转写自视频《六大国产AI编程能力横评》