外观
如何用全开源 AI 工具制作数字人短视频？
一句话回答：一条数字人口播短视频可以完全用开源模型在本地做出来，流程是：Whisper 转写参考素材 → 大语言模型（llama3 等）生成文案 → GPT-SoVITS 克隆声音做旁白 → Stable Diffusion 生成人物形象 → Wav2Lip 类模型对口型合成——不需要付费服务，也不需要顶级算力。
完整流水线（五个开源模型）
- Whisper（OpenAI 开源语音识别）：把参考视频的旁白批量转成文字，也可用来打字幕。识别基本可用，个别字有错但不影响理解。
- llama3（大语言模型）：学习参考文案的语言风格，再按你的需求生成新文案。
- GPT-SoVITS（语音克隆）：录一段真人声音（务必征得本人同意），切片、预处理统一参数，在官方底模上叠加训练。训练速度快，一小会儿就能出模型，之后输入文字即可生成同音色语音。
- Stable Diffusion（AI 绘画）：生成人物形象。可以不用整合包，直接用 Fooocus（ControlNet 作者制作），几个简单提示词就有不错效果，生成后抠掉背景。
- Easy_Wav2Lip（对口型）：让人物的嘴跟着旁白音频动起来，合成最终视频。
各环节的实际坑点
- llama3 中文能力差：原版 llama3 中文语料缺乏，会反复切回英语或繁体，指令拉不回来。换成中文特化微调版会好一点，但生成质量仍然有限，最终文案基本都需要人工修饰。
- 语音方案怎么选：GPT-SoVITS 是文字直接生成克隆语音，训练快；So-VITS 是音色转换，需要先自己录一遍再转；Bert-VITS2 也是文字转语音，但训练时间长，可能要一整晚。
- AI 图片 + 对口型效果很假：静态图片只有嘴动，一眼假。开源方案想做真人质感目前很难（详见 AI 数字人对口型有哪些开源方案）。可行的替代方案是找遵循 CC0 协议的实拍视频素材（如 Pexels），再用 Wav2Lip 重新生成口型。
版权与伦理注意
- 很多低质 AI 营销号直接盗用影视配音或他人素材，自己制作时声音克隆必须取得本人授权，画面用 AI 生成或 CC0 素材。
- 这套流程门槛极低，也正是灰色地带批量生产诱导性视频的手段——了解原理本身就是最好的防骗教育。
常见误区
- "做 AI 视频需要昂贵的商业软件和大算力" —— 全流程开源、本地可跑，门槛低才是这类视频泛滥的原因。
- "AI 能一键全自动出片" —— 文案要人工修饰，口型方案要反复试错，AI 只是把每个环节的成本降下来了。
相关条目
作者：人工大黑 · 转写自视频《开源赛博观音》