DeepSeek 把「后厨」开源了：DeepInfer 推理框架全解读
后厨开源：菜谱之外，连流水线和调度图纸一起公开。
你每天和 AI 聊天，它几乎秒回，而且越来越便宜。
大多数人把这归功于「模型变强了」。但你可能没想过：模型本身，和「把模型端上桌」的那套系统，是两回事。
今天（2026 年 10 月 20 日），DeepSeek 官宣：把内部的推理框架 DeepInfer 全面开源。这一次开源的不是模型，而是撑起 DeepSeek-V4.1-Flash 线上服务的整套生产级引擎——菜谱之外，连后厨带供应链图纸，一起公开了。
为什么这件事值得普通人也花五分钟了解？我们从后厨说起。
一、推理框架是个啥：主厨与后厨
打个比方。大模型像一位有才华的主厨，它的「菜谱」——模型权重——其实早就公开了，谁都可以下载。但客人下单之后，得有人备菜、开火、出餐、翻台：这套后厨流水线，就叫推理框架。
菜谱公开，人人能炒；后厨开源，是连图纸带管理方法一起给。DeepSeek 这次的动作，就是把整套后厨搬进了开源仓库（Apache-2.0 协议，可商用），同场还开源了配套的「点单翻译器」——词元编解码库 deepseek-recipe（MIT 协议），负责把你打的字转成模型听得懂的词元、再把模型的输出解析回来。
值得一提的是，DeepInfer 并非从零造轮子：官方 README 自述以开源项目 vLLM 为主要基础，借鉴了 SGLang 与 TensorRT-LLM（并在文档中致谢开源社区），再整合自己此前开源的 FlashMLA、DeepGEMM、DeepEP、TileLang 等一批「自研厨具」。硬件上同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。
那这套后厨，到底藏着什么手艺？
二、四个值得记住的亮点
1. 三段分工：各管一种「快」
后厨分成三段：视觉编码看懂你发的图，预填充（Prefill）一口气读完你的问题，解码（Decode）把答案一个字一个字往外蹥。
你体感的「快」其实是两种：第一个字多久出现（首字延迟），和字与字之间顺不顺（字间节奏）。三段分离的妙处在于可以分开扩容——官方生产配置里，预填充用 2-8 路并行，解码用 64-128 路——谁忙就给谁加机器，互不拖累。
三段分工：视觉编码、预填充、解码，各管一种「快」。
2. 投机解码：先写草稿，再批量验收
解码一个字一个字往外蹥，怎么提速？答案是「学徒写草稿、主厨批量验收」：小模型一次起草 5 个词元，大模型一批核对，猜对的直接采用。
注意边界：草稿必须全部过验收，这不是偷工减料，答案质量不变。开源的 DSpark 方案更进一步——给每份草稿打置信度，结合硬件吞吐动态决定验收多少。官方生产报告显示：相比固定验证 5 个词元，吞吐再提升约 6%。
学徒写草稿，主厨批量验收——猜对的留下，猜错的作废，质量不打折。
3. 缓存分层：热的留灶台，冷的进冷库
刚算过的中间结果先留在本机内存（180 秒内你再追问，直接复用，生产命中率超过 98%）；更久的上下文落进约 100 PiB 的 3FS 固态集群——按流量类型定保质期：智能体场景存 3 天，聊天场景存 7 天。
还有更狠的一招叫「有界重放」：注意力丢了窗口，不从头重算，只重放最近 128 个词元。官方称，部署中预填充的计算量近乎减半。
热的留灶台，冷的进冷库——KV 缓存的两级分层。
4. 零开销调度：前厅点单，不等后厨洗锅
CPU 排下一批请求与 GPU 执行当前任务重叠进行，调度开销被藏进流水线里。这一项本期视频没展开，感兴趣的可以去官方仓库细看。
三、信息 Box：数字都要带前提
| 数字 | 前提条件（官方生产报告口径） |
|---|---|
| 155 万亿 词元/日 | 单集群处理量 |
| $38 / 加速器·小时 | 按低谷电价折算的收入，未扣成本 |
| 吞吐 +6% | DSpark 对比固定验证 5 词元 |
| Prefill 计算近乎减半 | SWA 有界重放，部署中实测 |
| ≈100 PiB / 峰值读 10 TiB/s | Block KV 所在 3FS SSD 集群 |
| 命中率 >98% | SWA KV 留本机内存场景 |
四、先泼一盆冷水
首发版本只覆盖离线推理。想搭一套完整的在线服务，分布式 KV 存储、预填充/解码分离部署、跨副本负载均衡，都还得自己补（引擎侧大部分能力已就位，架构报告里也有描述）。后厨给了，跨门店的调度系统请自建。
另外，它要求 Linux + Python 3.12 + CUDA 13（或昇腾 CANN 9.2），首发支持 V4.1-Flash。家用 Windows 电脑和消费级显卡，暂时不是它的主场。
五、一年半的连续落子
把时间线拉开看，这是盘下了一年半的棋：
- 2025-02 开源周：FlashMLA 等五个基础库连发
- 2026-06/07 DSpark 投机解码开源
- 2026-09-30 昇腾基础组件（TileLang/算子库/通信库）开源
- 2026-10-20 DeepInfer 整套推理引擎开源
从算子、编译器到完整引擎，逐层拆掉围墙。官方那句话说得直白：
「模型能力边界由模型划定，但以合理成本服务好用户，取决于推理系统。」
六、对开发者，对你我
对开发者：拿到的是真刀真枪的生产级代码，宽松协议，还能同时压英伟达和昇腾两条硬件栈。
对普通人：菜谱和后厨都公开了，意味着推理系统的优化不再是哪家巨头的私房菜——AI 服务的成本只会越卷越低。更快、更便宜，最终落到你的每一次提问上。
留一个问题给你：如果模型是菜谱、推理引擎是后厨，你觉得 AI 这家餐厅，下一个该开源的是什么？评论区聊聊。
视频版解读已同步发布（同号 3 分钟科普），事实与数字口径同本文。 来源：DeepInfer 官方仓库与生产架构报告（github.com/deepseek-ai/DeepInfer）、DeepSeek 官宣（2026-10-20）、IT之家、华尔街见闻。