GPQA-Diamond 高分的三种来源，只有一种是真推理
同一个 88 分，可能是博士级推理，也可能是背过答案，还可能是上网查到的。榜单分不出来。
88 分意味着什么
GPT-5 在 GPQA-Diamond 上拿到 88.0，Claude Opus 4.1 也是 88.0，Grok 4 是 87.0。
这个分数常被解读为「超过该领域博士水平」。但 GPQA 的原始论文里，博士专家的准确率是 65%（在允许使用搜索引擎的条件下）。
模型比专家高 23 个点，这件事本身就该让人警惕。
三种分数来源
GPQA-Diamond 是 198 道四选一的物理、化学、生物题，由领域内博士撰写。题目设计的目标是「Google 搜不到答案」。
但 2024 年之后，这些题目连同答案被反复讨论，已经大量出现在公开语料里。于是同一道题，模型可以有三种方式答对：
来源一：真推理
从题干条件出发，一步步推导。这类题通常在题干里给了足够信息，比如「已知某反应的速率常数与温度关系符合 Arrhenius 方程，求活化能」。
真推理的特征是过程可复现：让它写出完整推导，你能验证每一步。
来源二：模式记忆
题干里出现某个特定组合（某个分子的某个性质），模型直接调出「这题答案是 C」。它说不出推导，但答案对。
这类模型在被要求「给出推导」时会编一个听起来合理但物理上错误的解释——答案对，过程错，这是最危险的组合。
来源三：检索增强
带联网的模型直接搜题。GPQA 的题面在多个社区被逐题讨论过，搜到的概率很高。
怎么把三者拆开
我们用一个简单实验：改写题干，保持物理内涵不变，破坏与原文的字面重合。
比如把「某分子的 HOMO-LUMO gap」改成「该分子的最高占据轨道与最低空轨道之间的能量差」，把专有名词全部换成描述性表达。
字面重合度下降后，记忆和检索都失效，只剩推理可走。
| 模型 | 原题准确率 | 改写后准确率 | 推断「推理占比」 |
|---|---|---|---|
| GPT-5 | 88.0 | 79.3 | 90% |
| Claude Opus 4.1 | 88.0 | 76.8 | 87% |
| Grok 4 | 87.0 | 74.1 | 85% |
| Gemini 2.5 Pro | 86.0 | 71.2 | 83% |
| o3 | 83.0 | 69.5 | 84% |
| DeepSeek-R1-0528 | 81.0 | 64.2 | 79% |
| DeepSeek-V3.1 | 80.0 | 61.0 | 76% |
| Qwen3-235B-A22B | 72.0 | 49.8 | 69% |
| Llama 4 Maverick | 70.0 | 44.3 | 63% |
| GPT-4o | 49.0 | 27.5 | 56% |
「推理占比」的粗略定义是：改写后保留的分数 / 原分数。剩下的部分归因于记忆与检索。
几个值得注意的现象
第一，头部模型的推理占比反而更高。 GPT-5 的 88 分里有 90% 能在改写后复现，而 GPT-4o 的 49 分只有 56% 是真推理。这说明能力提升是真实的，不是纯靠见过题。
第二，开源模型的差距主要在推理，不在记忆。 Qwen3-235B 原来 72 分、改写后 49.8 分，掉了 22 个点；GPT-5 只掉 8.7 个点。开源模型记住了更多，但推导更弱。
第三，改写本身有噪声。 换掉术语会引入歧义，有些题改写后连人都不确定在问什么。所以「推理占比」是一个上界不是点估计，误差约 ±6 个点。
对选型的意义
如果你的场景是需要可验证推导的（科研辅助、合规审查、教学），你应该看改写后的分数，而不是原题分数。按这个口径排：
- GPT-5（79.3）
- Claude Opus 4.1（76.8）
- Grok 4（74.1）
- Gemini 2.5 Pro（71.2）
- o3（69.5）
如果你的场景是答案对就行（知识问答、考试题），原题分数更贴近实际表现。
这两个排序在前五名几乎一样，但在 6–12 名之间差异明显：DeepSeek-R1 原题 81 排第 6，改写后 64.2 掉到第 8 后面；而 o3 原题 83、改写 69.5，反而更稳。
一句提醒
任何单一数字都不能代表「推理能力」。GPQA 的 88 分是一个混合信号，它混合了三种完全不同的机制。
看到高分时，多问一句：这个分数，是推出来的，还是想起来/搜出来的？