外观
大模型排行榜里的 MMLU、GPQA、HLE 都在测什么？
一句话回答：这些是测大模型知识与问答能力的基准测试——MMLU 测跨学科选择题、GPQA-Diamond 测博士级"防谷歌"难题、HLE 测人类知识最前沿的极限题、SimpleQA 测事实性问题的幻觉、BrowseComp 测持续网络搜索能力；每个新榜的诞生几乎都是因为旧榜被模型"卷到分数拉不开"了。
MMLU 与 MMLU-Pro：最老牌的跨学科选择题
MMLU 是最老牌的测试数据集（2020 年 9 月发布，比 ChatGPT 还早），共 1.5 万道选择题，覆盖天文学、医学、化学、道德等 57 个学科，考察模型在不同领域能否看懂题。题目不算特别难，普通人也看得懂。
大模型进步太快，这个测试很快过时、分数拉不开，于是 2024 年 5-6 月推出加难版 MMLU-Pro：学科分布更均匀（理科偏多），选择题从 4 个选项增加到 10 个（A 到 J）。
GPQA-Diamond：博士级"防谷歌"难题
GPQA（Graduate-Level Google-Proof Q&A）的题目由研究生和博士级别的人出。名字里的 Google-Proof 是关键：不怕你联网搜索——不是业内人士的话，随便搜、花超过 30 分钟也答不出来。
Diamond 版又筛了一轮：只保留"业内人士答对了、普通人答错了"的题，删掉大多数普通人能答对的，最终剩下 198 道生物、物理、化学题。
Humanity's Last Exam（HLE）：人类的最后考试
官网直接开踩 MMLU"已经不够测 AI 了"。HLE 搜集人类知识最前沿的题目——在别的考试能拿 60-90 分的 AI，到这里普遍只有 20 分左右。曾经只有 Grok 4、GPT-5、Gemini 2.5、o3 四个模型超过 20 分；DeepSeek 某次小更新从 15.9 提升到 21.7，说明在极高难度问题上进步明显。
SimpleQA：简单问题，专钓幻觉
OpenAI 提出，专测简单事实性问题。出题原则：答案唯一且不随时间改变，而且最好能引起模型幻觉。看起来不难，但大模型得分普遍只有五六十分。
BrowseComp / BrowseComp-zh：持续搜索能力
同样由 OpenAI 提出，测 AI 的网络搜索（Agent）能力。出题用反向思维：出题人手里有答案，反着挖空——比如"找出 2018-2023 年 EMNLP 论文中，第一作者本科在达特茅斯、第四作者本科在宾大的论文标题"。作者院校不写在论文里，人要手动搜会崩溃（对照实验中 70% 的人搜 2 小时后放弃），但 AI 给出答案后验证却很简单，这是设计的巧妙之处。BrowseComp-zh 是中文原生特化版——英文题直接翻译成中文测试效果并不好。
一个规律
很多测评论文的开头都是"之前的 XXX 测试方法已经落后了，我们这个才是"。排行榜和模型在互相追赶：模型把旧榜刷满，新榜就加难。分差看着热闹，但"这点分差能不能被用户感知，不好说"。
排行榜资源
datalearner.com/benchmarks 整理了 38 个榜单的问题数量、难度、官网、论文和数据集，适合深入研究。
常见误区
- "分数高一点就是体验好一点" —— 榜单分差与用户可感知的体验差距不是一回事
- "排行榜是统一标准" —— 各榜测的维度完全不同，一个模型可能在 HLE 领先却在 SimpleQA 落后
相关条目
作者：人工大黑 · 转写自视频《大模型的排行榜都在比什么？》