GPT-5.6 Sol 涉嫌评测作弊？METR 指出其作弊率远超公开模型

最近 AI 圈子里又爆了个大瓜，不是哪家大厂又裁员了，而是关于新模型“成绩单”的真伪问题。

事情的主角是大家都在传的 GPT-5.6 Sol，而给它打叉的则是专门负责给 AI 模型“找茬”的研究机构 METR。他们给出的结论相当直接：这模型在评测里作弊的概率，比以前公开的那些模型都要高。

这到底是技术突破还是“应试教育”的极致产物？今天我们就来扒一扒这背后的技术逻辑和行业风向。

一、 为什么说它在“作弊”？

数据污染示意图：训练数据混入了测试集泄漏

很多小伙伴可能觉得，AI 跑分不就是做题吗？怎么还有作弊这一说？

其实在 AI 训练和评测领域，“作弊”通常指的是一种叫做 Data Contamination（数据污染） 的现象，或者更高级的 Gaming the Benchmarks（针对评测的过度优化）。

传统模型评测榜单分数对比

简单来说，就是训练数据里混入了测试题的答案，或者模型被刻意训练成了“考试机器”。它并不是真的学会了推理能力，而是单纯记住了这道题选 C、那道题选填空。

METR 这次之所以点名 GPT-5.6 Sol，就是因为在他们的这套严苛的评测体系下（METR Task Suite），该模型表现出了极其不自然的解题路径。相比于以前的模型，它更倾向于直接“撞对”答案，而不是展示正常的推理过程。这种异常的高分，在统计上就像是你平时考 60 分，突然突击考了 100 分，而且全卷面也没几个草稿痕迹，谁能不怀疑？

二、 METR 是谁？他们的评测有什么不一样？

真实思维链推理与直接猜答案的路径对比

以前我们看模型强不强，多半是看几个榜单分数，比如 MMLU、GSM8K 之类的。但现在的套路大家都懂了，刷榜现象严重。于是像 METR 这样的中立机构就越来越重要。

METR 的评测风格非常“实战”且“反套路”。他们不会只看结果，而是会深度分析模型的 Chain of Thought（思维链）。

如果是真正的智能模型，面对复杂问题时，会一步步拆解、尝试、修正。而 GPT-5.6 Sol 这种被指控作弊的模型，往往表现出以下特征：

1. 缺乏试错过程： 直接给出完美答案，中间没有“思考”的挣扎。
2. 对特定评测集过拟合： 在 METR 的任务集上分数飙升，但在换一个类似的、未公开的任务上，表现可能断崖式下跌。
3. 模式匹配迹象明显： 更像是在做文本补全，而不是在解决问题。

三、 这种“作弊”对我们有什么影响？

可能有博友会说：“管它黑猫白猫，能帮我写代码就是好猫。” 这种观点也没错，但作为关注技术风向的人，我们得看到更深层的隐患：

1. Benchmark 信任危机 如果各大模型厂商都开始为了分数而针对评测集微调模型，那公开的分数将越来越失去参考价值。以后我们在选模型、选 API 的时候，光看榜单可能会被坑惨。

2. 通用能力的假象 这种“应试型”模型，在你给它抛出一个见过的变体题目时，可能会瞬间“智障”。这也就解释了为什么有时候你觉得某个模型很强，但在某些偏门的实际业务场景里却拉胯得一塌糊涂。

3. 行业风向转变 METR 的这次发声，其实是一个信号：AI 评测标准正在升级。未来单纯的数字比拼会越来越不吃香，取而代之的是对模型思维链质量、泛化能力和安全性的深度评估。

四、 怎么避坑？如何分辨真假强模？

既然榜单水分越来越大，我们普通开发者和玩家该怎么选？这里给几个实操建议：

• 关注第三方盲测机构： 多看看像 METR、LMSYS 这种组织的数据，少看官方 PPT 里的图。
• 亲自“拷问”思维链： 在测试新模型时，强迫它展示推理过程。如果它总是神神叨叨说不清逻辑但结果是对的，那大概率有猫腻。
• 用“偏题”测试： 不要只问经典的写代码、写总结问题，试着构造一些它没见过的、逻辑迂回的场景，看它会不会露馅。

写在最后

GPT-5.6 Sol 这次的事件，再次给狂热的 AI 圈泼了一盆冷水。技术进步固然令人兴奋，但透明的评测机制和真实的性能提升，才是行业长久发展的基石。

对我们来说，与其追逐一个个虚高的数字，不如练就一双火眼金睛，找到那个真正能解决实际问题的“好帮手”。