2026年10月20日，DeepSeek宣布全面开源内部生产级推理框架DeepInfer（Apache 2.0协议），并同步开源生产级Token编解码组件deepseek-recipe（MIT协议）。据DeepSeek披露，基于DeepInfer运行的DeepSeek V4.1 Flash，单一集群服务吞吐量已达每天155万亿Token，按谷电价计算平均每卡每小时收入38美元；输入缓存命中率96%，平均单请求输入77K Token，首字时延约400毫秒，单用户解码速度230 Token/秒。

这是继开源大模型权重、TileLang编译工具、FlashMLA与DeepGEMM等算子库之后，DeepSeek首次将“如何以合理成本服务海量用户”的推理中间层完整开源。对行业而言，开源竞争正在从“模型参数”这一层，蔓延到决定服务成本的“推理系统”这一层。

1 事件背景：从模型、算子到框架的开源三部曲

1.1 开源版图补齐“框架”拼图

DeepSeek的开源路线已持续一年多：从V3、R1到V4系列模型权重（MIT协议），到对标CUDA的TileLang编译平台，再到FlashMLA（MLA解码内核）、DeepEP（高性能通信库）、DeepGEMM（矩阵乘代码库）、3FS（分布式文件系统）等底层组件；2026年6月，DeepSeek又与北京大学联合发布DSpark推测解码框架。10月17日，V4.1 Flash更新至V4.1-Flash-1017版本，网页端、APP与API同步变更。三天后的10月20日，支撑这套服务运行的推理框架DeepInfer与编解码组件deepseek-recipe正式开源，把开源版图的最后一块拼图——“推理框架”——交到了社区手中。

1.2 两个开源项目的定位

DeepInfer是DeepSeek生产级大规模推理服务的核心框架，以Apache 2.0协议发布，当前支持DeepSeek-V4.1-Flash，默认checkpoint为deepseek-ai/DeepSeek-V4.1-Flash-1017。项目最初主要基于vLLM构建，并借鉴SGLang与TensorRT-LLM的设计思路，整合FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect等自研算子与TileLang内核。deepseek-recipe以MIT协议发布，负责主流API协议与模型Token序列之间的编解码转换，目标是让第三方部署获得与官方一致的接口体验。

2 技术拆解：DeepInfer如何把吞吐做到极致

2.1 PD分离：8卡Prefill与64—128卡Decode

Prefill（预填充）与Decode（解码）两阶段的计算特征差异显著：Prefill一次性处理数万Token，以算力密集型为主；Decode逐Token生成，主要受显存带宽约束。DeepSeek将两者分离部署：Prefill使用常见的8卡服务器（专家并行EP2—8、数据并行DP2—8），Decode使用64至128卡超节点（EP64—128、DP64—128的Wide-EP），并分别优化首字时延（TTFT）与逐字间隔（TBT）。在生产集群中，Prefill与Decode的卡数配比接近1:1；按技术报告口径，最小可一组Prefill加一组Decode运行，高效起步规模约为64卡Prefill加64卡Decode。

2.2 两级KVCache：3FS持久化、内存短缓存与Bounded Replay

缓存复用是DeepInfer降本的另一个关键设计。DeepSeek V4.1 Flash将KVCache分为Block与SWA两级：Block KVCache按128 Token切块，存入独立的3FS分布式文件系统（约100 PiB SSD，峰值聚合读取带宽约10 TiB/s、写入约850 GiB/s），按Agent流量保留3天、聊天流量保留7天的策略留存，设计目标是缓存不活跃后保存72小时以上；SWA KVCache只留在机器内存中、不做持久化，线上保留时间约180秒、命中率超过98%。当SWA KVCache未命中时，SWA Bounded Replay机制只重算最近128个Token（默认配置保留140个Token），并将注意力窗口限制在重算区间内，把缓存缺失的额外计算成本压到最低。DeepSeek在技术报告中披露，这一设计使Decoder侧的Prefill计算量近乎减半。

2.3 DSpark变长验证与异步调度

DeepSeek采用DSpark投机解码框架：草稿Token的验证范围不再固定，而是根据候选Token的预期接受概率动态决定——Confidence Head按置信度分配验证算力，并以低秩logit bias校正草稿模型偏差。在线部署中，相比固定验证5个Token，变长验证使吞吐提升约6%。调度环节则通过CPU与GPU异步协作，让请求调度、前向计算与采样尽可能重叠，减少设备空转；同时支持批量无关推理、确定性采样，以及基于JSON Schema、正则表达式、EBNF语法的结构化输出。

2.4 deepseek-recipe：统一三种主流API协议

deepseek-recipe将OpenAI Chat Completions API、OpenAI Responses API与Anthropic Messages API统一转换为同一种对话格式，再按模型版本拼接Prompt并编码为Token，模型输出再流式转回对应格式。它同时解决两类工程问题：一是防止注入——用户在输入中手写的特殊Token会被当作普通文本编码，不会被识别为对话结构标记；二是加速编码——特殊Token位置在拼接时已确定，其间普通文本可分段并行编码，缩短长上下文请求的分词时间（核心路径用Rust实现）。流式输出侧则以跨Chunk状态机缓冲不完整的UTF-8码点，工具参数按DSML边界直接输出JSON片段、边生成边返回。

2.5 硬件适配与开源边界

DeepInfer同时适配英伟达SM100 GPU与华为昇腾950 NPU：NVIDIA侧要求CUDA 13，昇腾侧要求CANN 9.2，并分别提供requirements-nvidia.txt与requirements-ascend.txt。不过，本次开源并未覆盖全部生产组件：KV缓存系统、编码器/Prefill/Decode分离（VE分离）与数据并行副本间的负载均衡，因与DeepSeek内部基础设施耦合较深而未随本版发布。

3 数据透视：一组“经营级”指标的行业含义

DeepSeek在技术报告中披露的线上数据，罕见地把推理系统的衡量单位从“算力”扩展到了“经营”：单集群日吞吐155万亿Token、每卡每小时收入38美元（按谷价）、Prefill与Decode算力配比接近1:1。这组数据（见表1）直接回应了行业最关心的三个问题：吞吐能压到多高、延迟能压到多低、单位算力能产生多少收入。

表 1　DeepSeek V4.1 Flash线上运行关键数据

数据来源：DeepSeek技术报告《DeepSeek V4.1 Flash大规模推理部署实践》（2026-10-20）

拆解来看：96%的输入缓存命中率意味着，在平均77K Token的长输入里，绝大多数内容直接命中先前计算、不必重复Prefill；计入缓存命中后，单卡Prefill有效吞吐从60K Token/秒提升到1.5M Token/秒，放大约25倍。38美元的每卡小时收入，则把推理效率换算成了可比较的经营指标——结合Gartner关于全球AI优化型IaaS支出2026年将增长96%、达420亿美元的预测，推理侧已成为AI基础设施资本开支的主战场。

4 行业影响与边界

4.1 推理成本曲线：开源与预测同向

从行业趋势看，推理成本正在经历快速下降：Gartner预测，到2030年在1万亿参数LLM上执行推理的成本将较2025年下降超过90%，LLM单位成本效益将是2022年同类模型的约100倍。TrendForce则预计，受北美CSP大举采购NVIDIA GB与Rubin整柜方案的带动，2026年AI推理算力将较2025年跃升约122%（按FP4/NVFP4口径）。DeepInfer的开源，把头部模型厂商验证过的“PD分离+KVCache复用+投机解码”方法论下放给社区，理论上会加速推理成本曲线的下行——尤其是把“每卡每小时38美元（谷价）”背后的系统设计逻辑公开化。

4.2 私有化部署与国产算力生态

对开发者与企业而言，DeepInfer降低了构建私有化与公有云推理服务的门槛：此前开源社区的推理栈（如vLLM、SGLang）与头部厂商的生产系统之间存在明显差距，而DeepInfer把MoE专家并行与负载均衡、推测解码、异步调度、结构化输出等生产级能力直接开源。对国产算力生态，DeepInfer提供昇腾950适配与requirements-ascend.txt，与DeepSeek此前在内蒙古乌兰察布规划大规模部署华为昇腾950DT加速器、以推理任务为主的路线相互印证，为昇腾平台上的大模型推理提供了一套经过生产验证的软件栈。

4.3 未开源组件与落地限制

需要指出的是，DeepInfer的开源仍保留边界：KV缓存系统、编码器/Prefill/Decode分离与数据并行副本间的负载均衡未随本版发布，这意味着社区拿到的是“引擎”而非完整的“生产系统”。同时，框架当前仅支持DeepSeek-V4.1-Flash单一模型，环境要求Linux、GCC 13以上与Python 3.12。从公开仓库状态看，项目发布后短时间内即获得大量星标与关注，社区反馈活跃；后续支持模型范围的扩展与未开源组件的补齐速度，将是衡量这次开源影响力的关键变量。

5 结语

DeepSeek将内部推理框架开源，是“训练使模型学有所成，推理则让模型为人所用”这句表态的技术落地。当单集群日吞吐达到155万亿Token、每卡每小时收入达到38美元（谷价）时，推理成本的控制早已不只是模型架构问题，而是算子、通信、调度与缓存管理共同决定的系统工程。DeepInfer的开源，让这套系统工程的方法论第一次完整呈现在社区面前。可以预期，推理基础设施的开源化将与模型开源一样，成为降低AI使用成本、扩大服务范围的重要杠杆；而DeepSeek能否持续把新模型的推理代码与新优化同步开源，将决定这份“开源红利”的成色。