最近感觉 AI 变笨了？教你如何科学验证 Claude 是否真的“降智”

最近在各类技术群里，经常听到有朋友吐槽：“最近的 Claude 是不是变笨了？感觉代码写不出来，逻辑也没以前清晰了。” 尤其是在 Claude 3.5 Sonnet 大火之后，这种“降智”的讨论似乎越来越多。

作为一个长期依赖 AI 辅助工作的“伸手党”，我也曾有过类似的焦虑：是不是模型官方为了省成本，偷偷把模型给“阉割”了？还是说因为我的使用频率太高，被限流了？

今天，咱们就撇开玄学，从技术角度和实际操作层面，来聊聊如何验证 AI 是否真的“降智”，以及如果真的遇到了变笨的情况，我们该怎么自救。

一、 警惕“心理落差”与“幸存者偏差”

首先，我们要先排除一种主观感受：新鲜感消退。

当你第一次使用高智商模型（比如 GPT-4 或 Claude 3 Opus）时，那种“哇，它懂我”的惊喜感会让你滤镜拉满。但随着使用频率增加，你会发现 AI 也会胡说八道、也会写错代码、也会在这个那个细节上犯低级错误。这并不是它变笨了，而是你对它的上限和下限有了更清晰的认识。

此外，互联网上的“吐槽声”往往传播得比“赞美声”快。一个人觉得变笨了发个帖，可能引起无数人的共鸣，导致大家觉得“全网都在降智”。实际上，可能只是特定领域或特定任务上表现不佳。

二、 导致 AI “看起来变笨”的常见真凶

在质疑厂商之前，不如先检查一下自己的使用环境。绝大多数“变笨”的情况，其实是以下两个因素导致的：

图示：上下文窗口过载导致模型注意力涣散

1. 上下文窗口过载

这是最常见的原因。如果你在一个非常长的会话中（比如连续聊了几个小时，或者让 AI 帮你改几万字的论文），上下文窗口里堆积了大量的信息。

模型在生成回复时，需要“关注”整个历史记录。当信息过载时，模型可能会出现“注意力涣散”，忽略了最新的指令，或者被之前的无关信息干扰，导致输出逻辑混乱、答非所问。

• 解决办法：遇到大模型开始“胡言乱语”或“复读机”时，果断点击 “新对话”。清空历史记忆，往往能让智商瞬间恢复出厂设置。

2. 系统提示词的隐性干扰

现在的很多 AI 客户端或应用，为了优化体验，会在底层塞入很长的 System Prompt（系统提示词），或者在用户 Prompt 前加上一堆修饰语。

如果你的 Prompt 和这些预设指令发生冲突，或者预设的 Prompt 本身就不具备通用性（比如强行要求 AI 用某种生硬的语气说话），就会极大地束缚模型的发挥，让它看起来像个“死板的学生”。

• 解决办法：尝试使用官方原生界面进行测试。如果官方界面没问题，而第三方客户端变笨了，那就是该客户端的 Prompt 写得太烂，或者你开启了某些奇怪的插件。

三、 如何科学验证“降智”？

如果你排除了上述干扰，依然觉得模型有问题，那么是时候动手做个“双盲实验”了。我们可以通过控制变量法来定位问题。

步骤 1：固定“考题”

准备一套你非常熟悉的测试用例。这个用例最好是客观题，有明确的固定答案，或者代码逻辑非常清晰的任务。

比如：

• 某段特定代码的 Bug 修复。
• 某个复杂逻辑谜题的解答。
• 对某篇冷门技术文章的总结。

千万不要让它写诗、写故事，因为这种主观题很难量化智商。

步骤 2：时间对比法

将你现在的测试结果，和一两周前、或者你刚使用该模型时的测试结果进行对比。如果你当时保存了对话记录最好，如果没有，凭印象对比答案的准确度也是有效的。

如果答案质量明显下降（以前能一次写对，现在逻辑全错），那大概率是模型变动了。

步骤 3：小号/Baseline 对比（关键）

有时候，你的账号可能因为某些风控策略或者个性化模型微调（虽然官方很少承认），导致表现不同。

• 多账号测试：注册一个新的小号，或者借用朋友的账号，发送同样的题目。如果新账号回答正常，而你的老账号依然拉胯，那可能是个体账号权重问题，或者是你的账号被分配到了较差的模型路由上。
• 跨模型对比：把同样的题目发给 GPT-4、Claude 3.5 Sonnet、Gemini Pro 等不同模型。如果全都变笨了，那可能是你的题目本身有歧义，或者这个任务对现在的 AI 就是很难；如果只有 Claude 变笨，那就是它真的挂了。

四、 遇到问题如何“自救”？

经过验证，如果发现真的很不幸，当前模型就是在关键时刻掉链子，别急着骂娘，试试这几招“唤醒”技巧：

1. 降维打击：把任务拆解得更细。不要一句“帮我写个电商后台”，而是拆分成“先设计数据库结构”、“再写 API 接口”、“最后写前端页面”。任务越单一，模型翻车的概率越低。

2. 修改提示词语气：有时候，换个 Prompt 模板有奇效。比如从“请帮我...”改为“你现在是一位拥有 10 年经验的资深架构师，请负责地...”，通过增加角色设定的权重，强制模型调动更强的逻辑能力。

3. CoT（思维链）提示：在提问后加上一句“请一步步思考”，或者“让我们把问题拆解来看”。强制模型输出推理过程，能有效减少幻觉，提高准确率。

4. 切换模型版本：如果官方 API 允许，尝试切换不同的模型 endpoint。比如从 claude-3-5-sonnet 切换回 claude-3-opus（如果还能用的话），或者尝试更旧的版本，看看是不是新版本的“预训练过度”导致通用能力下降。

写在最后

模型“降智”在 AI 界其实是个伪命题，更多时候是版本迭代中的权衡。为了提高响应速度、降低成本，或者为了防止 AI 输出有害内容，厂商确实可能会在安全护栏或推理深度上做调整，这有时候在用户眼里就等同于“变傻”了。

对于普通用户来说，保持“怀疑”的验证态度是好事，但不要陷入焦虑。AI 现在依然是工具，而不是神。学会驾驭它，适应它的波动，甚至预判它的错误，才是我们作为“提示词工程师”的必修课。

如果大家有遇到具体的“变笨”案例，欢迎在评论区分享你的题目和验证结果，咱们一起避坑！