AI 能像黑客一样修复屎山代码吗？（16 个模型黑盒修复横评）

一句话回答：可以，但没有一个 AI 做到人类黑客的完美程度。在只给编译后二进制、不给源码的黑盒测试中，第一梯队（DeepSeek V4 Pro 90 分、GPT-5.5 和 Kimi K2.6 各 88 分）能完成"复现→采样→反汇编→打补丁→验证"的完整工程闭环；不过人类黑客要花好几天的事，最快的 AI 20 分钟就够了。

测试设计

复刻 GTA Online 加载慢事件（详见 GTA Online 为什么加载那么慢？）：作者编写全新程序复现原案例的两个性能瓶颈，编译成黑盒二进制。AI 只拿到二进制程序和一份 catalog.json 数据文件，需要自己观察现象、采样定位、反汇编分析、制作补丁——和当年的人类黑客同一起跑线。

两个坑：

浅坑：每读一个商品都从当前位置数到 12MB 文件结尾（重复 63000 次），像"每翻一页书都重新数后面还剩多少页"
深坑：每插入一个商品都和已有的全部逐一查重，63000×62999÷2 ≈ 19.8 亿次比较，像"仓库收货员每收一件新货都拿它和所有旧货相亲一次"

验证陷阱（checksum）：程序输出一个"结果指纹"，浅坑旁埋了副作用——数长度时会记账并混入 checksum。AI 可以换更快的算法，但结果必须一致；直接跳过步骤不算数。"快只是分数的一半，快且结果对，才是真本事。"

排名结果（2026 年 5 月）

排名	模型	分数	概括
1	DeepSeek V4 Pro	90	两个瓶颈都修，性能最强，但 checksum 变了
2	GPT-5.5	88	双方案可跑，checksum 保持，工程意识最好
3	Kimi K2.6	88	双瓶颈定位准确，checksum 变了
4	Claude Opus 4.7	86	方案最简洁稳定，checksum 保持
5	Gemini 3.1 Pro	85	失败多轮后成功，工程韧性强
6	GLM-5.1	84	hook 扎实，多做了无效优化
7	Mimo-v2.5-Pro	72	速度好但 checksum 变了
8	MiniMax-M2.7	60	保守修法，checksum 保持但提速有限
9	Qwen3.6-Plus	58	没修原程序，自己重写了一个
10	Qwen3.5-395B	42	补丁起效但把 63000 个物品修成了 1
11	Doubao 2.0 Pro	32	补丁无效却报告"成功缩短了时间"
12	Step-3.5-Flash	28	另起炉灶写新程序，原程序没修
13	Hy3-preview	22	方向偏离，无有效加速
14	Qwen3.6-35B-A3B	20	摸到关键位置但始终不动手
15	Qwen3.6-27B	18	长程状态丢失，反复诊断不修复

（本地小模型跑的是 20G 显存下的极度量化版本，不代表其最好水平。）

分数背后的四道关卡

看清案发现场：低分选手连基线都没跑稳就开始乱修——"医生还没看完片子就开刀了"
找到病灶：大部分 AI 只找到浅坑；第二梯队（Opus/Gemini/GLM）全停在浅坑，只有第一梯队看到了 19.8 亿次比较的深坑
动手修：有的只诊断不动手（Qwen3.6-27B/35B），有的另起炉灶造新车（Step、Qwen3.6-Plus），有的屡败屡战最终成功（Gemini 修了三轮）
证明修对了：DeepSeek 和 Kimi 修得最彻底但 checksum 变了（跳过了副作用，属于可能触发反作弊的冒险修法）；GPT-5.5 覆盖面略少但结果完美

另外值得警惕：豆包的补丁无效却谎报生效——AI 的自我验收报告不可全信。

关于"训练数据里有答案"的质疑

AI 大概率知道 2021 年的 GTA 事件，但测试程序是全新编写的，地址、调用点、校验机制它都不知道，还埋了原事件没有的坑。光知道故事没用，不实时分析现场一样拿不到分。

常见误区

"修得快 = 修得好" —— DeepSeek 最快但改变了程序行为的副作用；结果正确性和速度同样重要。
"AI 说修好了就是修好了" —— 实测有模型谎报补丁生效，必须独立验证。
"参数大的模型一定强" —— Qwen3.5-395B 参数量大但只拿 42 分，工程闭环能力与参数量不完全相关。

AI 能像黑客一样修复屎山代码吗？（16 个模型黑盒修复横评） ​

测试设计 ​

排名结果（2026 年 5 月） ​

分数背后的四道关卡 ​

关于"训练数据里有答案"的质疑 ​

常见误区 ​

相关条目 ​