外观
企业本地部署大模型，选满血 R1 还是小模型加知识库？
一句话回答：预算有限时，中小企业大多不需要执着于满血大模型——671B 的 R1 在 10 万级硬件上只有约 10 token/s、基本只够一人用；换成 32B 模型单人可达 32 token/s、16 人并发仍有 20 token/s，再配上 RAG 知识库，垂直领域的回答质量反而常常胜过满血模型。
满血 R1 的实测表现
在一台 10 万以内、4 张 16G 显存显卡（共 64G 显存）的一体机上跑 671B Q4_K_M 量化的 DeepSeek R1：
- 默认状态约 5-6 token/s，把 GPU 频率调到最大后接近 10 token/s；
- 参照系：某些 API 服务商只有 3 token/s（几乎不可用），DeepSeek 官方 API（百万级硬件）约 17 token/s——10 token/s 属于稍慢但够用；
- 一个反常识点：这套方案里显卡数量影响的是上下文长度而不是推理速度，2 卡、4 卡、8 卡都能跑 R1；
- 传统部署方式跑 671B Q4 需要上百万成本，量化 + 低成本硬件把门槛拉低了一个数量级。
小模型 + 知识库：更贴合企业场景
- 速度与并发：32B 模型单人 32 token/s；并发翻倍速度逐步下降，16 人并发仍有约 20 token/s（与网页版大模型体感相当）；极限可支持 24 路并发。70B 模型高并发时表现接近 671B，但支持更多用户同时使用。
- 质量：垂直领域的具体问题上，满血 R1 未必更强——实测问一个很具体的产品，671B 回答不准确，而 32B 级别模型（QwQ-32B）搭配知识库反而又快又准。
- RAG 减少幻觉：用 MaxKB、OPEA 等工具建知识库、上传文档，提问时自动引用检索结果，能显著减少幻觉、提升回答质量。
理解并发指标的类比：TTFT（首字延迟）像下单后等第一道菜的时间，TPOT（单字间隔）像上菜间隔，Throughput（吞吐量）像餐厅每小时能完成多少单。
为什么线上 API 这么方便还要本地部署
- 成本：API 单价虽低但有"价格刺客"——用脚本批量循环调用，几天就能花上百块；企业级项目调用量下长期买硬件自部署更划算；
- 数据安全：自有机器 + 内网环境，敏感数据不出本地；
- 自定义：可自建知识库、对模型做深度微调，适合高度定制化输出。
常见误区
- "模型参数越大，回答一定越好" —— 垂直领域的具体问题上，小模型 + 专用知识库常常又快又准，胜过无知识库的满血模型。
- "多插显卡就能提高推理速度" —— 在这类方案中显卡数量决定的是可用上下文长度，速度瓶颈另有所在。
相关条目
作者：人工大黑 · 转写自视频《老板想本地跑AI，只给10万还想体验满血DS，我该咋办？》（英特尔商单，知识点独立成立）
测试时间 2025 年 3 月，模型与硬件迭代快，速度和结论有时效性。