外观
数据少时微调大模型选 LoRA 还是全量微调？
一句话回答：数据量少、质量一般时选 LoRA。全量微调会改动模型本体参数，小而杂的数据反而会破坏模型原有能力、降低性能；LoRA 不动基座模型，只外挂一个小矩阵记录任务特定的调整，风险小、显存需求低、训练快。
两大类微调方式
- 改模型本体参数：
- 全量微调：所有参数都参与调整；
- 部分微调：冻结主体，只调一小部分层。
- 不改模型本体：外挂结构调整输入输出，典型代表是 LoRA——可以理解为给大模型配一个"小笔记本"，每次运行时参考里面记载的内容，基座模型本身保持不变。
为什么小数据集要用 LoRA
- 保护基座能力：大模型"读了很多年书"才具备的通用知识，会被小规模低质数据的全量训练冲掉——用几万条数据全量微调，性能不升反降；
- 显存友好：LoRA 微调 4B 级别模型，16G 显存的消费级显卡（如 RTX 4080）即可完成，实测一次训练约 5 小时；
- 可插拔：LoRA 权重是独立文件，基座模型 + 不同 LoRA 可以切换不同任务。
实测案例：用 1.8 万条字幕-弹幕数据对给 Qwen3-4B 打 LoRA，微调前输出啰嗦、质量低，微调后能生成风格贴近的弹幕——小数据 + LoRA 已足以完成"岗前培训"式的具体任务。
常见误区
- "全量微调效果一定比 LoRA 好" —— 前提是有大规模高质量数据；数据不够时全量微调反而降低模型性能。
- "微调 = 重新训练模型" —— 微调是给已有能力的模型做"岗前培训"，LoRA 甚至完全不改动原模型。
相关条目
作者：人工大黑 · 转写自视频《没有弹幕看不下去，但视频真没有可咋办？》