最近 Codex 变傻了？教你排查 Token 泄露导致的模型降智问题

最近在开发者圈子（尤其是搞 AI 和代码这块）里，听到不少小伙伴在吐槽：自家的 Codex 好像“变傻”了。以前指哪打哪，生成代码又快又准，这两天突然像喝了假酒，输出逻辑混乱，甚至是胡言乱语。

如果你也遇到了这种突发性的“降智”情况，别急着换模型，这可能不是你代码的问题，而是最近比较火的 Codex Token 泄露（Special Token Leak） 问题在作祟。

问题现象：模型为什么会突然“降智”？

这次的问题主要集中在最近的版本更新后（大概 7 月 9 号前后）。很多朋友的反馈非常一致：

出现 Token 泄露时，模型可能输出格式崩坏的代码或包含乱码的文本。

1. 输出格式崩坏：明明要求的是 JSON，结果给回来一坨带乱码的文本。
2. 逻辑死循环：模型开始不断重复同一个词，或者是陷入毫无意义的逻辑推导。
3. 奇怪的 HTML 注释：在生成的文本中莫名其妙出现 `` 或者其他肉眼不可见的特殊字符。

根本原因：特殊 Token 泄露

经过技术圈的深入排查，问题的核心在于 Special Token Leak。

将 Prompt 复制到纯文本编辑器中检查并消除不可见的特殊字符。

简单来说，大模型内部有一些专门用于控制流程、区分角色的“特殊 Token”，比如 <|endoftext|>、<|im_start|> 之类。正常情况下，这些玩意儿是幕后英雄，用户不应该直接看到。

但在这次更新里，Codex 似乎出现了 Bug，导致这些原本应该在后台处理的 Token，被“泄露”到了普通文本区域，或者被错误的解析成了普通字符。这就好比给大脑的指令里混进来了看不懂的乱码，模型自然就不知道该按什么逻辑执行了，表现出来就是“降智”或者是输出格式异常。

实战排查与解决方案

既然知道了原因，咱们就得想办法解决。以下是目前验证有效的几招，建议大家按顺序尝试：

1. 强制重置 System Prompt

很多时候，泄露的 Token 会污染上下文。最直接的办法就是重新写下 System Prompt。

• 不要沿用旧的 Prompt 模板，哪怕改了几个字也不行，因为上下文污染可能还在。
• 建议：从一个标准的、极简的 Prompt 重新开始。例如：“你是一个高级代码助手，请只输出代码，不要包含任何解释。”

2. 仔细检查 Prompt 中的隐形字符

这是最容易踩的坑。如果你是复制粘贴的 Prompt，或者是从文件里读取的，很可能混进来了不可见的字符。

• 把你的 Prompt 复制到记事本（或者无格式的纯文本编辑器）里，先保存为 UTF-8，再重新打开，看看有没有奇怪的空格或乱码。
• 特别是 `` 这种序列，如果出现在你的输入里，直接删掉。

3. 调整 Temperature 参数

虽然这不能解决 Token 泄露本身，但在模型面对“乱码指令”犹豫不决时，降低 Temperature（比如设到 0.1 或 0.2）有时能强制它按照概率最高的路径走，减少出现“胡言乱语”的概率。这算是权宜之计，治标不治本。

4. 设置输出长度限制

如果在生成代码或长文本时崩溃，尝试设置较小的 max_tokens。有时候是因为泄露的 Token 导致模型无限生成某个循环，限制长度可以让它尽早停下来，方便你观察具体是哪里出了问题。

总结

这次 Codex 的“降智”风波，本质上是一次由底层 Token 解析故障引发的蝴蝶效应。作为使用者，我们没法修底层 API 的 Bug，但通过 重置 Prompt 和 清洗输入文本，基本上能规避大部分问题。

如果你尝试了以上方法还是很卡，那只能静待官方修复了。大家最近用 AI 辅助编程时多留个心眼，生成的内容最好还是过一遍眼睛，别完全依赖自动化。