首页 / 评测方法

评测方法与数据口径

榜单的可信度,取决于你敢不敢把算法摊开。这一页写清楚每个分数怎么来的、数据从哪来、哪里不可靠。

一、维度与权重

市面上的榜单常见两种毛病:一是只比「知识问答」,导致会背书的模型排名虚高;二是只比「跑分」,把延迟和成本完全忽略。本榜把两者拆开,并在综合分里刻意压低纯知识权重:

维度权重构成为什么这样配
推理28%GPQA-D 38% + AIME 32% + HLE 30%真实任务里最难替代的能力
代码28%SWE-bench Verified 48% + LiveCodeBench 52%最接近生产力的单一指标
知识16%MMLU-Pro 60% + GPQA 40%仍需保留,但降低权重防「背题」
数学10%AIME 2025 全卷区分思考型的核心考题
指令遵循8%IFEval工程可用性的底线
人类偏好10%LMArena Elo 归一防止评测集过拟合,引入真人盲测

二、计算公式

所有原始分数先归一到 0–100。HLE(人类最后考试)原始分数普遍在 3–30 之间,为与其他维度可比,乘以 3.3 后截断到 100:

hle_norm = clamp(raw_hle × 3.3, 0, 100)

各维度加权求和:

reasoning = 0.38·GPQA + 0.32·AIME + 0.30·hle_norm
coding    = 0.48·SWE-bench + 0.52·LiveCodeBench
knowledge = 0.60·MMLU-Pro + 0.40·GPQA

人类偏好 Elo 归一(以 1250 为 0 分,每 2.4 分 Elo 折 1 分):

elo_norm = clamp((elo − 1250) / 2.4, 0, 100)

最终硬核指数:

HARDCORE = 0.28·reasoning + 0.28·coding + 0.16·knowledge
         + 0.10·math + 0.08·instruction + 0.10·elo_norm

性价比与实战指数:

value     = 0.68·HARDCORE + 0.32·price_score
practical = 0.55·HARDCORE + 0.25·speed_score + 0.20·price_score

三、价格口径

各家定价的输入/输出比例不同,直接比单价会失真。本榜统一按典型 Agent 负载的 输入 : 输出 = 1 : 3 计算混合价:

blended = (price_in × 1 + price_out × 3) / 4  [USD / 1M tokens]

价格得分取对数刻度,避免低价模型被无意义地拉开差距(0.1 美元 / 百万 token 记 100 分):

price_score = clamp(100 − 25·log₂(blended / 0.1), 0, 100)

速度指第三方实测的输出吞吐中位数(tokens/s),240 tok/s 记满分;首字延迟(TTFT)单独列出,因为思考型模型的首字延迟天然偏高,但它并不代表「卡」。

四、数据来源

类别来源用途
官方报告各厂商模型卡与技术报告基准分数一手来源
公开榜单LMArena、SWE-bench 官方榜、LiveCodeBench交叉验证与补全
第三方实测独立评测机构的吞吐/延迟与 API 复测速度、延迟、稳定性
定价各厂商 API 官方价格页输入/输出单价

当前数据快照为 2026-10,版本 v3.2,共收录 28 个模型、7 个基准评测集、14 家厂商。

五、局限性

  • 基准会过拟合。任何公开评测集被长期使用后都会污染,分数上涨不等于能力上涨。
  • 加权是主观的。28% / 28% 的权重适用于通用 Agent 场景;你的业务可能是 80% 的长文档摘要,那时该看的是上下文与吞吐,而不是综合分。
  • 分数是静态的。同一模型在不同温度、系统提示、工具链下表现差异很大,尤其代码类任务。
  • 价格会变。促销价、阶梯价、缓存命中价都会影响真实成本,本榜取标准列表价。

结论:把这张榜当筛选器,不要当裁判。先按维度缩到 3 个候选,再用你自己的 20 条真实任务跑一遍,才算选完。

六、免责声明

本站为第三方聚合评测站,与所列厂商无隶属或代理关系。所有商标归各自所有者。榜单数据用于技术选型参考,不构成采购承诺或性能担保。如发现数据错误,欢迎通过页脚联系方式纠错,我们会在下次快照中修订并记录变更。