深度求索开源支撑 V4.1 Flash 的推理栈
深度求索开源 DeepInfer 推理框架及 deepseek-recipe，首次把最新模型背后的部分生产级服务技术交给社区。
深度求索开源了 DeepInfer 推理框架，并同步更新 deepseek-recipe。公司称，DeepInfer 正是支撑 DeepSeek-V4.1-Flash 生产服务的核心软件之一。此次开放的不只是一个模型适配器，还包括优化内核、混合专家并行、推测解码、异步调度、确定性采样和结构化输出等能力。
开放了什么
DeepInfer 面向 DeepSeek-V4.1-Flash 的大规模离线推理，集成 FlashMLA、DeepGEMM、DeepEP、TileKernels 和定制 TileLang 内核，同时支持注意力数据并行、上下文并行及专家并行负载均衡。项目还提供基于置信度的验证调度和有界重放机制，用于减少解码与预填充开销。
目前支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU，采用 Apache 2.0 许可证。不过它还不是完整的托管服务平台：KV 缓存管理、完整的预填充/解码分离，以及多副本之间的负载均衡，仍需要用户自行补齐。
同步更新的 deepseek-recipe 是一套 Rust 与 Python 工具，用于把常见 API 请求转换为 DeepSeek 所需的提示和响应格式。10 月 20 日版本新增 V4、V4.1 模型版本识别、结构化输出、显式特殊 token 处理和前缀续写支持。
为什么重要
这次发布把竞争焦点从“谁开放了模型权重”进一步推向“谁能把模型稳定、低成本地跑起来”。深度求索公开了通常藏在内部的生产推理细节，为云厂商、国家级算力中心和自部署团队复现其吞吐设计提供了更直接的起点。限制也很明确：项目依赖新一代加速器和较强的系统工程能力，关键服务层并未全部包含。但它仍可能推动 DeepSeek 生态的性能优化，并让推理基础设施本身成为开源竞争的新战场。