Meta首席AI官Alexandr Wang驳斥SemiAnalysis「刷榜论」：老测试早已饱和

动察 Beating AI 快讯，AI 研究机构 SemiAnalysis 点名 Gemini 3.8 Flash 和 Muse Spark 1.3，称它们是目前最明显的「benchmaxxed」模型之一，也就是针对公开评测优化得太狠。两款模型在 Terminal-Bench 2.1 分别拿到 89.4% 和 88.8%，已经接近 GPT-6 Astra 和 Claude Fable 5.1；换到刚发布不久的 Terminal-Bench 4.0，却只剩 19.1% 和 33.3%。Astra 和 Fable 5.1 分别还有 57.7% 和 55.8%。 SemiAnalysis 怀疑，问题出在公开测试越来越容易被针对性优化。Terminal-Bench 2.1 的任务全部公开，即使模型厂商不直接拿测试题训练，也可以购买与这些任务高度相似的强化学习环境数据。模型于是越来越擅长这套考试，却未必能泛化到新任务。不过 SemiAnalysis 没有拿出 Google 或 Meta 购买这类数据的直接证据。 Meta 首席 AI 官 Alexandr Wang 随后反驳，称这个论点「很蠢」。他举例，GPT-5.6 Sol 同样从 Terminal-Bench 2.1 的 88.8% 掉到 4.0 的 37.3%。他的解释是 2.1 已经饱和，无法再有效区分顶尖模型，而 4.0 远未饱和。Terminal-Bench 4.0 的确删除了 8 道饱和、已有公开解法或存在其他问题的任务，同时修改了 19 道题，并重新调整时间、CPU 和内存等资源限制。