 |
Web Worker-Author: Web Worker
Web Worker ...... web Language: zh-cn Genres: Technology Contact email: Get it Feed URL: Get it iTunes ID: Get it |
Listen Now...
No.94 不服跑个分，AI Benchmark 指标如何解读？
Monday, 20 April, 2026
节目介绍本期播客聚焦"AI 模型跑分榜单"这件事。借 Claude Opus 4.7 发布放出的那张跑分表为切入点，三位主播辛宝、smart、还老师一起把 SWE-bench（含 Verified 与 Pro 三代演进）、Terminal-Bench、Humanity's Last Exam、GPQA、MMLU、OSWorld、ARC-AGI 等主流榜单挨个做了一轮"查漏补缺式"的科普，讲清楚每个榜单在考什么、为什么分数有高有低、以及厂商为何爱针对性刷分。横向对比了 GPT-5.4、Gemini 3.1 Pro，以及国产御三家 GLM-5.1、MiniMax-2.7、Kimi-2.5、千问 3.6 的发布榜单，并回看一年前 DeepSeek V3 的分数作为参照。最后从 OpenRouter 用量榜看 token 消耗格局——从"程序员才能用多少"到"Agent才能用多少"的演进。适合想快速补齐榜单常识、又不想看长篇 benchmark 文章的听友。参考 www.anthropic.com时间轴 00:00:00 开场 / 三人介绍，引出话题 00:01:40 Claude Opus 4.7 发布，跑分表结构说明 00:05:00 SWE-bench 三代演进：普通 / Verified / Pro 00:12:30 Terminal-Bench 2.0：AI 会不会用终端 00:13:30 跑分水分讨论：针对题库做定向训练 00:16:00 Humanity's Last Exam：博士级无答案考题 00:21:30 BrowseComp、MCP 工具调用、OSWorld 电脑操作 00:23:30 Finance 金融分析榜 00:25:40 骇客 / 红蓝对抗测试 00:27:30 GPQA 硕博理工、视觉推理、MMLU 通识 00:29:30 GPT-5.4 发布榜单速览 00:31:30 Gemini 3.1 Pro 榜单 & GDP 国家模拟游戏 00:33:00 ARC-AGI 抽象推理（类行测找规律） 00:35:30 国产模型：GLM-5.1 长任务 NL2Repo 00:37:30 MiniMax-2.7、Kimi-2.5 多模态榜 00:39:30 千问 3.6 开源版 / 闭源版对比 00:42:30 回看一年前 DeepSeek V3：对比今昔分数 00:45:00 编程榜快刷到头，下一步卷哪里？ 00:48:30 体感与榜单不匹配：场景切合度决定 00:50:30 OpenRouter 用量榜介绍 00:53:00 Token 消耗一年翻数倍：谁在真正消耗 00:56:00 智能 / 编程 / UI / SVG 等细分跑分 00:59:30 吞吐速度、上下文长度、中文能力榜 01:02:30 爱马仕 Agent 崛起 & 工具调用占比 01:03:30 结束语
