外观
如何用 AI 给视频自动生成弹幕？
一句话回答：核心思路是教 AI 学会"看到什么字幕时人类会发什么弹幕"：先采集大量字幕-弹幕数据对，再用 LoRA 微调一个开源大模型（如 Qwen3-4B），最后让它读取目标视频的字幕、输出弹幕格式的 xml 文件加载回视频——消费级显卡（16G 显存）即可完成。
第一步：构建字幕-弹幕数据集
本地跑多模态（看画面）成本太高，退而求其次用"字幕-弹幕"数据对：
- 采集字幕：按主题搜索 B 站视频，批量下载纯音频，用本地 Whisper 模型转写成字幕文件；
- 采集弹幕：通过 B 站提供的 API 接口获取对应视频的弹幕；
- 配对：按时间点把字幕和弹幕匹配成对；
- 清洗：去掉 BV 号和无意义数字、繁体转简体、删除刷屏内容。
实验最终得到约 1.8 万条数据。作为参照，成熟的弹幕数据集是上百万量级的，甚至有画面帧-弹幕的数据对。
第二步：LoRA 微调
选 Qwen3-4B 作为基座模型。因为数据集质量一般、数量不多，全量微调反而会降低模型性能，所以选择 LoRA（外挂一个低秩矩阵，相当于给模型配一个"小笔记本"，推理时参考里面的内容）。
- 硬件：16G 显存的 RTX 4080 本地即可跑，显存更低可以用云服务;
- 训练时长：约 5 个多小时。
效果对比：不微调的 Qwen3-4B 直接生成弹幕非常啰嗦、质量很低；加了 LoRA 后能抓住字幕关键词、生成带明显感情的短弹幕，差距肉眼可见——但受限于 4B 的模型规模和数据集质量，离真实弹幕还有距离。
第三步：生成并回填
对目标冷门视频提取音频 → AI 转写并翻译字幕 → 微调后的模型读取字幕，生成符合弹幕格式的 xml 文件 → 加载回播放器。
提升方向
- 数据规模：从万级扩到百万级，或引入画面帧-弹幕数据对；
- 多模态：等多模态模型资源占用降低后，让 AI 直接"看画面"发弹幕，能认出画面上的梗；
- 更大基座：4B 参数偏小，更大的模型生成质量会明显提升。
常见误区
- "大模型直接就能生成弹幕" —— 通用模型输出啰嗦且不像弹幕，必须用真实弹幕数据微调才有"弹幕味"。
- "微调必须要服务器级显卡" —— LoRA 微调 4B 级别模型，16G 显存的消费级显卡就够。
相关条目
作者：人工大黑 · 转写自视频《没有弹幕看不下去，但视频真没有可咋办？》