菲戈视角：全球模型榜怎么读
全球模型榜一大堆，每天还有人给我推新的。但我的真实问题从来不是”谁第一”，而是三件小事：我要建站写码，哪个模型顺手？同样的活，哪家最省？格局什么时候真的变了？带着这三个问题把主流榜单拆开看了一遍——结论是：没有一个榜在直接回答它们，但每个榜都藏着一块答案。
一、十个榜，十种完全不同的”考试”
先别看名次，先看每个榜的分数是怎么生成的：
| 榜单 | 它实际在测什么 | 已知失真（有实锤的） |
|---|---|---|
| Arena（原 LMArena） | 陌生人对两句回答的即时偏好 | Meta 发布前私测 27 个变体择优公布；Llama-4 参赛版与发布版差 30 名；删掉一小撮投票就能翻转第一名 |
| Artificial Analysis | 自定权重的考试平均分 | 权重自己定、无同行评审、版本之间不可比 |
| OpenRouter 排行 | 开发者的真实调用量 | 官方自己声明”测的是采用不是质量”；免费模型和自动化刷量会冲榜 |
| Terminal-Bench | 沙箱里的长程终端任务 | 抽查发现 16% 的题目可被模型”钻空子”通过 |
| Design Arena | 页面/应用生成的人评对赛 | 受”谁在场”影响——GLM 登顶那周，恰逢竞品被出口管制暂停服务 |
| SWE-bench | 真实 GitHub 问题修复 | OpenAI 官宣弃用其 Verified 版：16.4% 题目有缺陷+训练污染；同一模型换套工具链分差 9.5 |
| LiveBench | 每月换新题的防污染考试 | 防污染做得最好，但快被考”饱和”了 |
| 司南 / SuperCLUE | 中文生态评测 | 治理蓝皮书点名”刷分注水”；样本以国产为主，与英文榜不对称 |
| Epoch AI | 基准枢纽与算力追踪 | 曾发生资助方提前接触题目的利益冲突 |
| 媒体横评 | 作者的个人印象 | 不可复现，看过就算 |
二、它们为什么会骗人：五个机制
- 考题漏进了训练集（污染）。用镜像新题（GSM1k）实测：有模型比做旧题掉 8% 以上——分数里混着”背过题”。
- 参赛版不等于卖给你的版本（刷榜）。Llama-4 是实锤：参赛的那个版本从来没公开发布过。
- 投票选的是”好看”不是”对”（风格偏好）。更长的回答、更漂亮 的排版就能拉票——Arena 自己都被迫出了”风格控制分”。
- 分数是”模型 × 工具链”的乘积。同一个模型换套脚手架，SWE-bench 能差 9.5 分——你买的从来不只是模型。
- 榜单不报价格。同等能力 18 个月降价 280 倍（斯坦福 AI Index 实测），中国价格战砍 97%——这些在榜单上完全看不见。
三、我的重构：三轴读法
既然每张榜只是一块碎片，我把它们拼成自己的视角——三根轴，权重公开：
轴一：能力，按我的用途拆开看（权重 40%）
不再看”综合第一”。写码和终端任务看 Terminal-Bench 系（综合榜强不等于终端任务强——Gemini 综合榜第一梯队、Terminal-Bench 只有 19% 的落差是实锤）；做页面看 Design Arena；Artificial Analysis 的综合分只当背景板。因为我买模型是干活的，不是考试的。
轴二：成本，智力每美元（权重 40%）
我的采购组合是主力订阅+国产按量补量，所以”最少钱买到足够强”是和能力同权重的主轴。同段能力的价差能到一个数量级，只看榜不看价等于白看。
轴三：变化，名次无意义、变化才是信号（权重 20%）
单点名次是时点快照，会骗人；但”谁降价了、谁一个月内跳跃式进步、谁悄悄掉队”骗不了人。这也是我在这个网站挂”模型雷达”的原因：每天抓快照，只报变化。
默认权重 40/40/20，公开且可调——比 Artificial Analysis 更透明的地方在于：我的权重和理由写在明处，你可以用自己的事实推翻它。
四、四步读榜法
- 先问这个榜的分数怎么生成（考试？投票？调用量？）——机制决定它能回答什么问题；
- 两榜交叉再信：一张榜的第一名在另一张榜排不进前五，说明测的不是同一件事，先查机制再下结论；
- 只看变化不看名次：进步/退步/降价是硬信号，名次是软信号；
- 最后一步永远是用自己的真实任务试：榜单筛出候选，我的建站、写码、改版任务做终审——机器可测的是下限，顺手不顺手只有手知道。
五、主要来源
- The Leaderboard Illusion（Cohere 等，2025-04，arXiv:2504.20879）——Arena 私测与数据不对称实证
- GSM1k（Scale AI，2024-05，arXiv:2405.00332）——污染镜像实测
- Dropping Just a Handful of Preferences Can Change Top LLM Rankings（ICLR 2026，arXiv:2508.11847）——排名脆弱性
- OpenAI：Why SWE-bench Verified no longer measures frontier coding（2026-02）
- 斯坦福 HAI AI Index 2025——能力-价格 280 倍曲线
- Dissecting the SWE-Bench Leaderboards（2025-06，arXiv:2506.17208）——脚手架混淆
- Terminal-Bench / Design Arena / LiveBench / OpenRouter 各官方站（2026-09 实抓）
本文为个人视角记录，数据截至 2026-09-28；榜单口径会变，机制比名次长寿。
评论
还没有评论
登录后发表第一条评论。