100 万上下文是营销还是刚需？12 个真实负载的实测
标称 1M 的模型，在第 400K 之后的检索准确率会掉到 60% 以下。长上下文不是「能塞多少」，是「塞进去还能不能找到」。
标称值和有效值
现在标称 1M 上下文的模型有：Gemini 2.5 Pro、Gemini 2.5 Flash、Llama 4 Maverick、MiniMax-M1、GPT-4.1（1.048M）。
标称 400K 的有 GPT-5 和 GPT-5 mini。
标准测试是「大海捞针」（needle in a haystack）：在长文本里埋一句特定的话，问模型能不能找出来。几乎所有模型在这个测试上都能拿 95% 以上。
问题在于，大海捞针测的不是你要的能力。
真实场景不是「找一句原话」，而是「综合 20 处信息回答一个问题」。这两件事的难度差一个数量级。
我们测了什么
12 个负载，覆盖四类任务：
| 任务类型 | 示例 | 需要定位的片段数 |
|---|---|---|
| 多跳检索 | 「对比 A 文件和 B 文件里对同一接口的两处定义，指出冲突」 | 2–4 |
| 汇总统计 | 「这份 300 页年报里，研发投入的三年复合增长率」 | 3–6 |
| 时序推理 | 「按提交顺序，找出第一个引入该 bug 的改动」 | 5–10 |
| 全局理解 | 「这个代码库的分层架构是什么，画出依赖方向」 | 全篇 |
每个负载在 8K / 64K / 200K / 500K / 900K 五个长度下各跑一次（内容按需扩充），记录准确率。
结果：三条衰减曲线
Gemini 2.5 Pro —— 衰减最平缓
| 长度 | 8K | 64K | 200K | 500K | 900K |
|---|---|---|---|---|---|
| 准确率 | 96% | 94% | 91% | 84% | 71% |
有效上下文（准确率 ≥85%）：约 500K，是标称值的 48%。
GPT-5 —— 短区间最强，长区间掉得快
| 长度 | 8K | 64K | 200K | 400K |
|---|---|---|---|---|
| 准确率 | 97% | 95% | 88% | 73% |
有效上下文：约 260K，是标称值的 65%。但注意它标称只有 400K。
MiniMax-M1 —— 标称 1M，实测腰斩更早
| 长度 | 8K | 64K | 200K | 500K | 900K |
|---|---|---|---|---|---|
| 准确率 | 92% | 88% | 79% | 68% | 54% |
有效上下文：约 230K，标称值的 23%。
Llama 4 Maverick
| 长度 | 8K | 64K | 200K | 500K | 900K |
|---|---|---|---|---|---|
| 准确率 | 90% | 84% | 74% | 61% | 47% |
有效上下文：约 200K，标称值的 20%。
三个反直觉的发现
第一，多跳检索的衰减远快于单点检索。 在同一长度下，单点检索准确率 92%，多跳只有 74%。因为多跳要求模型同时保持两处信息在注意力里，而后者的衰减是指数的。
第二，任务类型的影响大于长度。 「全局理解」类任务在 200K 就开始崩（准确率 62%），而「时序推理」在 500K 还有 79%。原因是全局理解需要覆盖全部 token，而时序推理只需要沿一条链走。
第三，成本和长度是超线性的。 900K 输入的单价是 100K 的 9 倍，但准确率只有后者的 75%。算下来每个正确回答的成本涨了 12 倍。
所以该怎么办
长上下文不是「免费的 RAG 替代品」。在大多数场景里，检索 + 中等上下文仍然更划算。
我们建议的决策规则：
如果 需要的信息 < 总文本的 5%
→ 用检索（RAG），把 8–32K 的相关片段喂进去
如果 需要整合全文（摘要、全局分析、风格模仿）
→ 用长上下文，但控制在有效范围内
如果 需要精确引用原文
→ 用检索 + 引用回链，别指望模型「记住」
具体到模型选择：
| 场景 | 推荐 | 理由 |
|---|---|---|
| 200K 以内的多跳检索 | GPT-5 | 该区间准确率 88%，且单价低 |
| 300–500K 全文分析 | Gemini 2.5 Pro | 衰减最平缓 |
| > 500K | 都不要用 | 准确率已低于可用阈值，改走检索 |
| 高并发长文本 | Gemini 2.5 Flash | 单价 $0.3/$2.5，可接受冗余 |
一个被忽略的成本
长上下文还有个隐性成本：延迟。
900K 输入的首次响应时间，Gemini 2.5 Pro 要 18–25 秒，GPT-5 在 400K 时要 12 秒。对交互式产品来说，这个延迟直接决定了能不能用。
所以「1M 上下文」在技术上是真的，在产品上通常不可用。
结论
标称上下文长度是一个理论上限，不是一个能力指标。
选型时用「有效上下文」——大约标称值的 25%–50%，视任务类型而定。超过这个范围，准确率下降带来的返工成本，会远超省下的检索工程量。