实测Codex的Computer Use：这功能真的还没准备好进生产环境

最近AI圈最火的莫过于各种“让模型直接操作电脑”的概念了，我也没忍住跟风去试了一把Codex那个号称能解放双手的“Computer Use”功能。说实话，之前看演示视频的时候我是真激动，心想这要是成了，以后写代码改配置岂不是动动嘴就行？

但实际跑了一圈下来，我只想说：兄弟们，先把腰闪了，这功能目前真的有点“拉”。

演示中AI试图模仿鼠标操作但出现错误的截图

演示中AI试图模仿鼠标操作但出现错误，展现了实际使用中的精准度问题。

首先最让人抓狂的就是精准度问题。在演示里，模型像个老司机一样丝滑地移动鼠标、点击按钮。但在我的实际测试环境里，它经常像个喝醉酒的人。让它在终端里敲一行简单的命令，它能把光标挪到奇怪的地方，或者明明是该双击的文件，它非要点一下然后在哪发呆。

其次是环境理解能力的短板。Computer Use不仅仅是要能看懂屏幕，还得懂上下文。我发现一旦遇到稍微复杂一点的弹窗，或者某个非标的UI布局，它就彻底懵圈了。它会反复尝试同一个错误的操作，死循环直到你手动干预。这就导致所谓的“自动化”反而成了“半自动化”，你还得时刻盯着它补锅。

还有就是Token消耗和延迟。因为它需要不断地截屏、分析视觉像素、再输出操作指令，这一套流程走下来，不仅慢得让人甚至想自己上手操作，而且烧Token的速度简直让人心惊肉跳。如果你想让它跑个稍微长一点的脚本，那成本可能比雇个实习生还贵。

简化的终端界面截图

建议使用简化的终端界面来减少视觉干扰，提高AI自动化的成功率。

其实吐槽归吐槽，作为开发者咱们还是得理性分析一下。这事儿不全是Codex不行，更多是现阶段多模态模型的通病。

计算机视觉（CV）和自然语言处理（NLP）结合在这里面并没有想象中那么完美。模型能看懂图片里是一只猫，但不一定能看懂这个按钮是不是“灰色的不可点击状态”。这种对于UI状态的细粒度理解，目前仍然是难点。再加上屏幕分辨率、DPI适配这些乱七八糟的环境变量，模型很容易迷失。

虽然直接用Computer Use去搞复杂的GUI自动化体验不佳，但在某些受限环境下其实还能凑合用。如果你非要用，我有几个建议：

简化你的UI环境：不要直接用这玩意儿去操作复杂的IDE或者花花绿绿的网页。给它开一个最极简的终端，或者是纯文本的界面，减少视觉干扰，成功率会高不少。
设置严格的人机确认点：在关键操作（比如rm -rf、git push之类）之前，强制模型停下来等待你确认。别信什么“完全自主”，现在阶段它只能做“辅助决策”。
回归API自动化：如果你的目标是自动化跑脚本，与其让AI模拟鼠标，不如让它写代码，然后你自己跑代码。目前来说，代码生成的准确性远高于它操作鼠标的准确性。让它写一段Python脚本或者Shell脚本，你审核完再执行，效率反而更高。

Computer Use这个大方向肯定是对的，未来也是趋势，但就2026年这个时间节点来看，Codex的这次尝试还是太“超前”了，更像个玩具而非生产力工具。

建议大家不要在生产环境里盲目重仓这种技术，除非你只是想发个朋友圈炫耀一下。对于咱们这种追求 efficiency 的开发者来说，老老实实写代码，或者在特定场景下用API调用AI辅助，才是正道。等到哪天它能精准识别并操作我不小心弹出的广告窗口时，咱们再谈生产力升级吧。