DeepSeek 开源生产推理栈 DeepInfer
支撑 DeepSeek V4.1 Flash 大规模线上服务的推理框架开源:优化内核、MoE 并行、异步调度,并放出吞吐与单卡收入数字。
开源的不只是模型权重,还有「怎么把卡跑满、怎么算账」——推理利润被摆到台面上,硬件生态(含 Ascend)也跟着被营销。
事实
- DeepInfer 是 DeepSeek 自用大规模推理框架的开源版,当前支持 DeepSeek-V4.1-Flash;特性含 FlashMLA/DeepGEMM 等优化内核、Attention DP/MoE EP、异步零开销批调度、结构化输出等。
- 知乎侧数字被顶帖引用:单集群日吞吐约 155 万亿 token;非高峰价下整体收入约 $38/卡/小时。
- 本榜约 2119 分 / 828 评;评论同时盯着华为 Ascend 950 支持,以及与美国 DHS Exclusion Order 公开日几乎同天发布。
解读
- 对产品/基建:看开源推理栈,重点不是 star 数,而是「吞吐、延迟、确定性采样、批不变性」有没有写进可复现配置。
- 单卡小时收入把「AI 不赚钱」论调逼到具体假设上——但评论提醒这是非高峰价,且仍是 DeepSeek 自报。
- 术语平讲:MoE EP 是把专家网络切到多机;EPLB 做专家负载均衡。Ascend 支持意味着小实验室可以绕开「只有 CUDA」叙事试水。
讨论
- 正方有人认为这是对美国前沿实验室估值的「战略打击」:开源推理+可复现吞吐,削弱「闭源 API 溢价」。
- 反方也有人提醒:多数中国模型已不再真开源,只是权重可用;这次兴奋未必等于投资人定价。
- 共识Ascend 支持被读成「给华为硬件做 onboarding」——推理已是主工作负载时,软件栈就是卖铲广告。
- 时序阴谋论:DHS 禁令七月生效、十月公开,仓库同天放出——有人当成战术,有人当成巧合。