外观
AI 编程能力排行榜都有哪些?SWE-bench、LiveCodeBench、Terminal-bench 测什么?
一句话回答:编程类榜单分三个层次——LiveCodeBench 和 Codeforces 测竞赛级解题(实验室考试),Aider-Polyglot 和 SWE-bench 测真实工程能力(修真实项目的 bug、多语言、成本),Terminal-bench 测命令行环境里的实际操作能力;越往后越接近 AI 真正替人干活的场景。
LiveCodeBench:防作弊的竞赛题库
从 LeetCode、AtCoder、CodeForces 三个竞赛平台搜集新编程题——强调新,保证大模型训练时没见过,防止"看过题"作弊。共测四种能力:
- 代码生成:出题看代码写得对不对
- 自我修复:自己修 bug
- 代码执行:给一串代码和输入值,让 AI 纯靠思考模拟运行结果——不许写代码,考"颅内运行"
- 测试输出预测:更进一步,只给自然语言题目和输入值,连代码都不给,看能不能想出答案
后两项考的是纯粹的理解和推理能力。
Codeforces:人类竞赛平台的"顺便测 AI"
Codeforces 本身是 2010 年创办的知名编程竞赛平台,以人类参与者为主,更新极高频。2024 年 9 月它出规定禁止 AI 替代个人思考、生成关键逻辑(辅助理解题意属灰色地带)。它并非官方 AI 排行榜——只是人类在上面竞赛定分,AI 也能得个分数,大家自发拿来对比。价值在于题目的真实性和竞赛级难度。
Aider-Polyglot:实际使用效果导向
Aider 本身是一个 AI 代码编辑器,这个榜反映编辑器厂商真正关心的问题:
- 多语言支持:考察 C++、Go、Java、JavaScript、Python、Rust——用户绝不只用 Python
- 单次成功率和成本:榜单直接列出花费
它看的不只是"谁能解题",而是"谁能按格式把代码塞进程序跑起来、实际花多少钱"。
SWE-bench Verified 与 Multilingual:修真实项目的 bug
SWE-bench 的论文标题简单直给:"AI 大模型能解决现实中的 GitHub 问题吗?"它把 GitHub 项目的 issue(用户反馈的 bug/需求)和 PR(开发者的代码修改)组成一对对题目,考察 AI 自动读问题、理解代码、生成补丁。
- Verified 版:OpenAI 认为原版有描述不清、有缺陷的题目(做不出来是题的问题不是 AI 的问题),于是派 93 人人工标注,与 SWE-bench 团队合作优化出的版本,被广泛采用。原版只针对 Python
- Multilingual 版:由伦敦程序员 Kabir 与 SWE-bench 合作,把语言拓展到 9 种(C、C++、Go、Java、JavaScript、TypeScript、PHP、Ruby、Rust),从各语言 star 最多的 100 个仓库里筛出 42 个仓库的 300 个高质量任务
- 整体规律:AI 明显更擅长 Python,C 和 C++ 的解决率最低
- 类似的还有字节豆包团队的 Multi-SWE-bench(7 种语言、68 名专家挑题,被 NeurIPS 2025 收录)
Terminal-bench:命令行实操
斯坦福大学与 Laude 团队合作,专测 AI 的命令行能力——不只是写代码,而是在真实环境中操作:定位文件、安装依赖、修改配置,题目难到创建自签 SSL 证书甚至编译 Linux 内核。这个榜难度很高:混合多模型方案约五十多分,单模型顶级的 Claude 约 45 分、GPT 约 41 分、DeepSeek 36.7 分已算高分。
常见误区
- "编程榜分数高 = 能替我干活" —— 竞赛解题(LiveCodeBench)和真实工程(SWE-bench、Terminal-bench)是两回事,后者分数普遍低得多
- "AI 各语言能力差不多" —— 实测 AI 明显偏科 Python,C/C++ 解决率最低
相关条目
作者:人工大黑 · 转写自视频《大模型的排行榜都在比什么?》
