最近在折腾 Hermes Agent,接入了几个大模型来试试水。本来想着 DeepSeek V4 这波能打,结果发现一个挺让人难受的点:到现在还不支持多模态。

本来以为这年头,不管是收费的还是免费的,看图说话应该是标配了吧?结果试了一圈,不仅 DeepSeek V4 没法处理图片,连带好几个号称免费的模型也都只能乖乖处理纯文本。平时想扔个截图让它分析下代码,或者识别个文档内容,直接就卡壳了。而且说实话,DeepSeek V4 这一阵子用下来,感觉“智商”不太稳,有时候问东它答西,答非所问的情况时有发生,用起来确实挺搞心态的。

为什么多模态这么难搞?

DeepSeek V4 界面截图

DeepSeek V4 当前仅支持纯文本输入的界面展示

大家都在催更多模态,其实这不是厂商不想搞,而是坑实在是多。

首先是训练成本的问题。做文本模型本身就烧钱,要加图片、视频甚至音频,数据量直接爆炸。这就好比原来是学语文,现在要你同时学绘画、摄影和音乐,还得把它们融会贯通,脑子不够用(算力不够)真的转不动。

其次是对齐难度。多模态模型最怕的就是“一眼假”。图里明明是一只猫,它非说是狗,或者把图片里的文字识别错,这比文本回答稍微偏一点要严重得多。为了保证准确率,很多大厂宁愿先把模型藏起来打磨,也不愿放出一个半成品出来被全网喷。

多模态模型训练与对齐技术示意图

多模态模型面临的技术难点:训练成本与对齐难度

最后,DeepSeek 这种主打性价比(便宜)的模型,在策略上可能也会优先保证文本生态的稳定。毕竟绝大多数 API 调用还是纯文本任务,先把基座打牢,再慢慢加感官,可能是一条更稳的路子。但这对于那些急需图文能力的开发者来说,确实是个漫长的等待。

现在有什么好用的平替?

既然主力选手暂时上不了场,咱们只能找几个靠谱的替补。在这里不谈那些遥不可及的“天价模型”,只说几个目前比较好上手,且对开发者友好的方案:

  1. GPT-4o 系列及其平替 老牌选手,虽然现在不便宜,但多模态能力这块确实是教科书级别的。对图片细节的捕捉、图表分析能力依然是天花板。如果预算允许,或者只是用来做验证,这个依然是最稳的选择。如果想省点钱,可以关注一些基于 Claude 3.5 Sonnet 或是 Llama 3.2 Vision 封装的第三方 API,有时候价格会亲民很多。

  2. Qwen-VL (通义千问视觉系列) 国内搞多模态比较早的一批,开源社区反响不错。特别是识别中文场景下的图片(比如文档截图、PPT、甚至街景),准确率相当能打。如果你是在本地跑大模型,或者用一些支持开源模型的 API 集市,这个绝对是第一梯队的选择。

  3. Gemini 1.5 Pro Google 的这波技术确实有点东西,最夸张的是它的超长上下文窗口。如果你需要一次性丢几十页 PDF 或者几十张图进去让它分析全局逻辑,Gemini 是目前为数不多能抗住不崩的。不过国内网络环境访问是个门槛,需要有靠谱的转发方案。

Hermes Agent 用户怎么破?

如果你也是用 Hermes Agent,遇到图片处理不了的情况,这里有个临时的Workaround(折中方案)

可以在 Agent 的工作流里加一个“OCR 预处理”步骤。图片来的时候,先调用专门的 OCR 工具(比如 PaddleOCR 或 Tesseract)把图片里的文字提取出来,变成纯文本,再扔给像 DeepSeek V4 这样的文本模型去处理。虽然这样会丢失图片的布局和颜色信息,但至少能解决“看不懂”和“无法输入”的问题,对于代码识别、文档提取这种任务来说,是个性价比极高的救急办法。

总结

DeepSeek V4 多模态虽然还在“跳票”,但技术圈的迭代速度从来不会等人。咱们作为用户和开发者,与其死守一个生态等更新,不如多备几把武器。文本任务继续用高性价比模型,遇到图片处理就切到专门的视觉模型,哪怕是在 Hermes Agent 里做简单的路由切换,体验也能提升一大截。

你们现在都在用什么模型搞定多模态任务?有没有什么好用又便宜的“宝藏模型”推荐?

标签: none

AI Skills Smart Station on Nick Launches

评论已关闭