外观
为什么 AI 答不对小众领域的问题?
一句话回答:因为 AI 的知识来自训练数据,而小众领域的资料在互联网上本来就稀缺——不是所有游戏剧情都有人写过逐字攻略,解包提取数据又麻烦且有法律风险,纯个人经验更是无处可采。实测中 GPT-5、Gemini 2.5 Pro、Claude 4、DeepSeek R1、Qwen3-Max、Kimi-K2 六个顶尖模型回答 galgame 冷知识,满分 100 分无一及格。
实测:六大模型对线 galgame 高手
测试用四类题目:剧情细节题(《白色相簿2》舞台剧扮演者)、声优冷知识题、游戏路线选择题、开放小作文题。结果:
- 细节题全军覆没:所有模型都答不出需要结合剧情线索推理的角色身份,各自给出了看似合理的错误答案
- 冷知识题只有 Gemini 蒙对一半:答出了声优名字但配音角色答错
- 常见的失败模式是自信地胡编:DeepSeek R1 自创了不存在的角色名"保科美咕噜",Kimi 把角色张冠李戴后一路错到底——AI 不知道时不会说不知道,而是编一个像样的答案
- 开放题反而都能答:谈"虚拟世界的爱与忠诚"这种不依赖事实的题目,各家都能给出有文采的回答
为什么会这样
AI 训练时抓取的是网络上的海量文字。文案和代码在网上数量巨大,所以 AI 写作和编程强;而小众领域面临三重数据困境:
- 资料本身稀缺——不是所有游戏剧情都有人做过一字一句的文字攻略
- 提取成本高——去解包游戏提取文本很麻烦,还面临法律风险
- 经验无法文本化——小众圈子里大量纯个人的、难以言表的经验感受,根本不存在于任何语料里
怎么正确测试模型的知识面
这次测试的方法论值得参考:全部断网、走官方 API,只用模型训练阶段的知识(联网搜索会污染结果);题目翻译成日文和英文各测一遍,排除语言影响;每题测三次取最好成绩。比的是训练数据集的广度,不是搜索能力。
一个判断标准
"如果未来有一个 AI,你跟它聊各种小众细节它都完全知道,回复句句说到心坎上——那就是时候可以交心聊一聊了。"小众领域的冷知识,是检验 AI 知识边界的天然试金石。
常见误区
- "AI 什么都知道" —— AI 只知道训练数据里有的东西,数据稀缺的领域它会一本正经地胡说八道。
- "AI 答错了会承认不知道" —— 实测中模型极少说"不知道",而是编造不存在的人名和角色,越小众的问题幻觉越严重。
相关条目
作者:人工大黑 · 转写自视频《旮旯高手对线AI,在座的各位都是垃圾》
测试时间 2025 年,模型迭代快,具体得分有时效性,但数据盲区的结论长期成立。
