推理模型的价格陷阱:thinking tokens 正在吃掉你的预算
标价 $2/$8 的模型,做 Agent 时的实际账单可能是 $2/$8 的 4 倍。差价全在你看不见的思考过程里。
标价和账单是两件事
打开任何一家厂商的定价页,你看到的是「每百万 token 输入 $X / 输出 $Y」。
这个数字对聊天场景是准的:你问一句,它答一句,输出 token 就是你能看到的那些字。
但对推理型模型和 Agent 场景,它是严重低估的。原因很简单:
思考过程的 token 按输出价计费,但它不出现在你看到的回答里。
GPT-5 解一道中等难度的 AIME 题,可见输出大约 600 token,但内部推理链路通常在 4000–9000 token。也就是说,你付了 8 倍的钱,只看到了 1/8 的东西。
三个负载的真实账
我们用同一套 prompt 在三个典型场景跑了一轮,取各模型的 token 中位数。价格按 2026-10 官方牌价。
场景一:Coding Agent 循环
一个 agent 任务平均包含 6–9 轮工具调用,每轮都要把文件内容重新塞回上下文。
| 模型 | 输入价 | 输出价 | 每任务输入 token | 每任务输出 token(含思考) | 单任务成本 |
|---|---|---|---|---|---|
| Claude Opus 4.1 | $15 | $75 | 138K | 21K | $3.65 |
| GPT-5 | $1.25 | $10 | 142K | 18K | $0.36 |
| o3 | $2 | $8 | 136K | 26K | $0.48 |
| Claude Sonnet 4 | $3 | $15 | 130K | 14K | $0.60 |
| DeepSeek-V3.1 | $0.28 | $1.12 | 128K | 11K | $0.05 |
| Doubao-Seed-1.6 | $0.11 | $0.28 | 125K | 9K | $0.02 |
注意 o3 那一行:输入价比 GPT-5 更贵($2 vs $1.25),但总成本只高 33%,因为它的输出 token 放大得更狠(26K vs 18K)。
而 Claude Opus 4.1 的单任务成本是 GPT-5 的 10 倍。这个差距在定价页上看不出来——两个模型都只是「一个贵一个便宜」,但差 10 倍这个量级,是靠心算得不到的。
场景二:客服工单归类
短输入、短输出、高并发。这类场景有一个反直觉的结论:不要用推理模型。
| 模型 | 单次成本 | 准确率(500 条人工标注) |
|---|---|---|
| Gemini 2.5 Flash | $0.00007 | 91.2% |
| Doubao-Seed-1.6 | $0.00008 | 90.6% |
| GPT-5 mini | $0.00019 | 93.4% |
| o4-mini(推理型) | $0.00142 | 93.8% |
o4-mini 准确率只比 GPT-5 mini 高 0.4 个点,成本却高 7.5 倍。因为工单归类不需要多步演绎,推理链只是把简单判断拉长了。
场景三:结构化数据抽取
从 40 页 PDF 里抽字段,输入极长、输出固定。
这里最贵的不是输出,是输入重复计费。大多数 agent 框架每轮都会把整个文档重发一遍。一个 8 轮的任务,同一份 40K token 的文档被计费 8 次。
解决办法不是换模型,是换架构:把文档预处理成结构化摘要,或者用 prompt caching。Anthropic 和 OpenAI 都有缓存命中折扣(通常 10% 价格),但很多人没开。
一条可用的选型公式
不要比「每百万 token 多少钱」,比每任务成本:
单任务成本 = 输入token × 输入价 + 输出token × 输出价
输出token ≈ 可见输出 × 思考放大系数
思考放大系数实测参考:
- 直答型模型:1.0–1.3
- 混合型(可开关思考):3–5
- 纯推理型(o3 / R1 / QwQ):5–9
- 极难题(AIME 后半、HLE):10+
按这个公式重算,你会发现一件事:在中低难度任务上,推理模型几乎没有性价比。它们真正的甜点区是「错了要重做」的任务——代码重构、复杂 SQL、多步合规检查。在这些场景里,一次做对的收益能覆盖掉 5 倍 token 成本。
三个省钱的具体动作
- 给推理模型设 token 上限。很多 API 支持
max_reasoning_tokens,把上限压到 2048,难题准确率掉 2–3 个点,成本掉 40%。 - 分级路由。先用便宜模型跑,置信度低再升级。Gemini 2.5 Flash 加一次自检,在工单场景能做到 95% 的准确率,成本是纯用 o4-mini 的 1/20。
- 盯住缓存命中率。长 system prompt + 固定文档的场景,缓存命中率能从 0% 提到 80%,这部分输入直接打一折。
最后一句
定价页上的数字是单价,你要的是账单。这两者之间的距离,在推理模型时代被拉大了一个数量级。
选型时多算一步:把 token 数乘起来,而不是把价格比一比。