2026最新:ComfyUI 手把手搭建真人 AI 中文短剧生产线
入坑必看:为什么 2026 年还在折腾 ComfyUI 做短剧?
最近圈子里的风向又变了,虽然 Sora 类的一键生成视频工具层出不穷,但真要落实到“真人中文短剧”这个具体场景,很多老手还是把目光转回了 ComfyUI。为啥?因为可控性。
很多时候,我们只需要一个稳定的“老婆”或者“老公”形象在不同场景里演戏,而不是每帧都在变化的随机帅哥美女。今天咱不聊虚的,直接盘一盘目前圈内比较成熟的 ComfyUI 制作真人短剧的 pipeline(生产线),希望能帮大家少走点弯路。
第一步:稳定真人形象的基石——模型选择
做真人短剧,最怕的就是“脸盲”或者“长相崩坏”。现在市面上有很多微调模型,但我建议不要盲目追求所谓的“超写实 8k 模型”,做短剧首要的是一致性。
- SDXL 1.1 还是 SD 1.5? 到了 2026 年,SDXL 的生态已经非常完善。对于真人视频,推荐使用基于 SDXL 微调的 Realistic Vision 或类似的变体。它们的脸部细节更好,且在处理复杂背景时更不容易出现伪影。
- LoRA 训练是关键: 别指望提示词能百分之百还原同一张脸。想要主角从头演到尾长得一样,必须训练角色的 LoRA。现在的训练工具非常傻瓜化,准备 10-20 张不同角度、不同光线的清晰正脸照,跑个半小时就能用。 Tips:训练的时候别忘了把“ trigger word”(触发词)设好,以后在 ComfyUI 里只要带上这个词,你的主角就会出现。
第二步:工作流构建——从文生图到图生视频
ComfyUI 的灵魂在于节点图。对于短剧制作,我们通常不会直接用 Text-to-Video,因为那不可控。标准的流程是:
- Text-to-Image (文生图):先生成关键帧。
- Image-to-Video (图生视频):让静态图动起来。
- Lip Sync (口型同步):对上台词。
核心节点推荐:
在 2026 年,AnimateDiff 依然是图生视频的王牌。你需要安装最新版的 AnimateDiff-Evolved 节点。配合 SDXL 的 Motion Model,能生成非常流畅的 3-5 秒片段。
怎么解决画面抖动?
这是很多新手遇到的噩梦。试试在采样器后面挂一个 ControlNet,使用 OpenPose 骨架图来约束人物动作。或者直接使用专门的 IP-Adapter 节点来锁定画面构图,这样背景就不会乱飞了。
第三步:中文短剧的灵魂——声音与口型
老外做视频主要用 SadTalker 或 Wav2Lip,但做中文内容,这两个工具有时会听不懂中文的声调,导致口型对不上。
目前的解决方案:
- TTS 生成:先找个好听的 TTS 工具把台词生成出来(现在很多国产 TTS 已经能模拟出很有感情的人声了,甚至能模拟咳嗽、叹气)。
- RVC 变声(可选):如果你觉得 TTS 的声音不够像你的主角,可以用 RVC 进行变声处理。
- 口型驱动:推荐使用 Wav2Lip++ 或者 GeneFace 的 ComfyUI 封装版。它们对中文的支持比老版好很多。将音频节点连入视频节点的输入端,调整好
face_restore参数,就能生成口型精准的画面。
实战中的坑与解决方案
Q:生成的人脸总是有点扭曲,像毕加索的画怎么办?
A: 这通常是 VAE 的问题。尝试换回 SDXL 原生的 VAE,或者在图片生成后加一个 FaceDetailer 节点进行局部重绘,专门修复面部崩坏。
Q:视频背景一直在飘,像在鬼屋一样?
A: 这是由于 Motion Model 运动幅度过大。尝试减小 AnimateDiff 的 motion_bucket_id 参数,或者使用 IP-Adapter Face ID 配合 IP-Adapter InstantID 节点,强力锁定人物特征,只保留表情变化。
Q:显存不够爆了怎么办?
A: 2026 年虽然显卡便宜了,但 ComfyUI 吃显存还是厉害。开启 --fp16-vae 启动参数,或者在节点设置里开启 tiled diffusion(分块渲染)。虽然渲染时间会稍微变长,但能把 12G 显存的门槛拉低到 8G。
结语
用 ComfyUI 搞真人短剧,其实拼的不是谁的显卡贵,而是谁的 workflow(工作流)更顺。现在的趋势是把生成好的视频片段拉进剪映或 PR 里进行后期剪辑,加一点滤镜模糊掉 AI 的瑕疵,再加上字幕和BGM,出来的效果真的能骗过不少外行。
如果你也有搭建好的节点图,欢迎把 JSON 导出来分享,大家一起优化这条生产线!

评论已关闭