DeepSeek开源推理引擎DeepInfer

DeepSeek 在 GitHub 开源了推理引擎 DeepInfer，它是 DeepSeek-V4.1-Flash 背后的推理引擎，包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术。官方披露其单集群每天需处理约 155 万亿个 Token。 目前开放的只是离线推理能力，线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开；公开版本也主要面向 DeepSeek-V4.1-Flash，完整线上服务所需的部分基础设施仍未开放。 官方尚未单独公布这套调度机制相对同步方案的完整端到端加速数据，DeepInfer 的整体性能结果还包含底层 Kernel、模型并行和其他执行优化的共同作用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。