为什么你的 AI 写代码总是车轱辘话？排查 Codex 重复生成的技术原因

最近在折腾大模型写代码时，不少兄弟都遇到过同一个让人抓狂的场景：你明明输入了清晰的指令，结果屏幕上的生成内容开始“卡带”，同一个代码片段或者那句解释的话，像坏掉的复读机一样一遍又一遍地刷屏。无论是早期的 Codex，还是现在各类基于 GPT 架构的代码助手，这种“重复生成”甚至“死循环”的现象其实并不罕见。

作为经常跟这些模型打交道的开发者，如果不去理解底层原理，真的很容易被气到关机。今天我们就抛开晦涩的数学公式，用大白话聊聊这到底是为什么，以及遇到这种情况该怎么救。

大模型在生成代码时陷入“复读”模式的示意图

核心原因：概率的“无休止游戏”

首先得明白，大模型本质上不是在“思考”，而是在做概率预测。它预测下一个 Token（字或词）出现的可能性。

Temperature 参数较低（高确定性）与较高（高随机性）时的输出差异对比

1. 概率分布的尖峰陷阱

在某些特定上下文里，可能下一个词是某个特定代码符号（比如分号、右括号）的概率极高，达到了 99.9%。这时候，模型的“视野”就被锁死了。它觉得除了这个符号，别的都不像话。这就导致模型一旦陷入这种高概率的短循环，就会不断把同一个 Token 吐出来。

比如你的 Prompt 诱导模型去完成一个没有明确结束标志的列表或数组，它可能觉得“再加一个元素”的概率永远大于“结束列表”，于是就无限加下去了。

2. Temperature：温度太低就“僵化”了

很多调用 API 的接口里都有个叫 temperature 的参数。这个参数控制着输出的随机性。

• Temperature 接近 0：模型变得非常保守，只选概率最高的那个词。这虽然能保证逻辑严密，但极易陷入上面说的死循环，因为它不敢尝试概率稍微低一点但能打破僵局的词。
• Temperature 设置较高（如 0.7 - 1.0）：模型敢于“冒险”，选择一些次优解，反而容易跳出循环。

如果你遇到 AI 一直重复，第一反应应该是去看看这个参数是不是设得太严格了。

关键因素：解码策略的锅

除了概率和温度，模型“决定”下一个字的策略（Decoding Strategy）也直接决定了会不会复读。

贪婪搜索 vs. 采样

• 贪婪搜索：简单粗暴，每一步都只选概率最高的那个。在写代码时，这很容易导致局部最优解——也就是看起来每一步都对，但整体陷入了死胡同（无限循环）。
• Top-k 采样 或 Top-p 采样：这是业界目前更主流的做法。它从概率最高的 k 个候选词里随机抽一个，或者在累积概率达到 p 的词包里抽。这种随机性是打破死循环的关键。

如果你的 Codex 接口允许调整，尝试开启采样模式，而不是默认的贪婪模式，通常能瞬间解决 80% 的复读问题。

怎么救？实战调试建议

明白了原理，我们来看看具体怎么做。

1. 优化 Prompt，给个“硬刹车”

很多时候是因为指令太模糊。模型不知道什么时候该停。

• 不要写：“帮我写一个循环处理数据。”（太宽泛，容易无限写逻辑）
• 要写：“写一个 Python 函数处理数据，函数长度不超过 20 行，不要包含任何解释性文字，只输出代码。”

明确约束输出长度、格式，或者直接告诉它“不要重复之前的表述”，能起到很好的提示作用。

2. 引入停止序列

这是最暴力的手段。如果你知道代码结束一定会有 } 或者 # END，那就把这个设为停止条件。一旦模型吐出这个字符，生成立刻强制停止。这能物理隔绝无限循环。

3. 调整参数试试水

• 把 temperature 从 0 调到 0.3 或 0.5 试试看。
• 开启 presence_penalty（存在惩罚）和 frequency_penalty（频率惩罚）。这两个参数专门用来打击复读机。设置得稍微高一点（比如 0.5），模型如果发现自己刚才说过这个词，它就会刻意避开，直接打断循环。

写在最后

Codex 等代码模型的“复读机”行为，其实是其基于概率预测机制的副作用。并不是模型“傻”了，而是它太过于执着当前的上下文概率。通过调整采样策略的随机性、合理设置惩罚参数，并在 Prompt 中给出明确的停止信号，我们完全可以把这个聒噪的“复读机”调教成听话的代码助手。

下次再遇到屏幕被同一行代码刷满，别急着骂厂商，先改改参数，大概率就能药到病除。