实测劝退：别再迷信中转站的“满血Pro”号池了

最近做一个关于LLM Agent可靠性的科研项目，需要大量调用模型来跑实验数据。为了保证结果可控，我特意设计了一套固定的题库，专门用来测试模型的“聪明”程度和稳定性。

之前一直用官方的GPT-4.1-mini（或者大家常说的那个版本）做主力测试对象。在之前的实验中，我针对114个不同的任务，每个任务重复测试10次，总共跑了1140次调用。在官方直连的环境下，这个模型的成功率一直非常稳，基本上保持在45%左右，浮动范围非常小（上下不超过3%）。这个基准数据我记录得很详细，本来以为这是一个很稳的起点。

然而，前两天我的官方Pro额度告急，实验进度又不能停。当时想着，现在的中转站百花齐放，而且很多都在宣传自己是什么“满血Pro号池”、“纯血官方源”，听起来很靠谱，还能省不少钱。于是，我就挑了站里最近推广最猛、号称最富可敌国的三家中转站（为了避嫌，这里姑且叫它们K、J、D三家），每家都充了100块，准备大干一场。

结果这一测，心态直接崩了。

还是用同一套题库，同样的参数配置，跑下来的结果简直让人怀疑人生。之前在官方环境下能稳定达到45%的成功率，在这三家“满血Pro”上，成功率直接断崖式下跌，跌到了惨不忍睹的5%到15%！

起初我以为是OpenAI那边最近模型又“降智”了，或者是服务器抽风，于是暂停了实验，想观察两天。

等到今天，我的官方Pro额度重置了。为了搞清楚到底是模型的问题还是中转站的问题，我特意留了个心眼，做了一个严格的对比测试。我挑选了题库里的前20个任务，每个任务跑5次，也就是100次调用。我在同一时间段，分别用官方的Pro 5x额度，以及那三家充了钱的中转站进行了并跑测试。

官方直连 Pro 5x 与三家中转站的成功率对比图，数据差异巨大。

结果出来后，数据打脸打得啪啪响：

• 官方直连 Pro 5x： 平均成功率稳在 50%。
• 中转站K： 平均成功率只有 25%。
• 中转站J： 平均成功率只有 20%。
• 中转站D： 平均成功率稍微好点，但也只有 23%。

大家看一眼数据就明白了，官方Pro的成功率是中转站的整整两倍还多。这不是小误差，这是天壤之别！所谓的“满血”、“纯血”，实测结果看来更像是“大杂烩”或者“残血”。这种差距对于我们做实验的人来说是毁灭性的，而对于普通用户来说，可能就是你感觉这AI“变笨了”、“回答不靠谱”的罪魁祸首。

这事儿给我的教训很深刻：中转站的水真的很深。不要光看宣传海报上写着什么“官方源”、“Pro号池”，很多时候你连请求到底发到了哪个模型节点上都不知道。它们可能为了省钱，混入了一些低版本模型，或者在高峰期偷偷限流、降级服务。

如果你是像我一样需要对输出结果有高精度要求的科研人员，或者是在跑依赖模型稳定性的Agent项目，千万别为了省那点差价去赌中转站的“良心”。一旦数据出错，排查成本远高于你省下的那点API费用。实在没办法必须用中转的时候，也一定要先跑个小规模的横向对比测试（A/B Test），摸清它的真实水平再投入生产。

羊毛虽好，但别把自己的实验质量搭进去了。以后这种打着“满血Pro”旗号的中转站，我是一律持怀疑态度了。