10月20日，DeepSeek开源了其内部大规模云服务的推理框架DeepInfer。这一框架是支撑DeepSeek大模型高吞吐、低延迟线上推理服务的核心技术，对AI行业具有重要意义。在同步发布的技术报告中，DeepSeek还公布了集群服务的吞吐和关键收入数据。基于该推理框架，团队已实现DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务，单一集群的服务吞吐达到155万亿Tokens/天，整体收入为每卡每小时38美元（按谷价）。
有网友评价称“真正的‘OpenAI’来了”。大家纷纷赞叹DeepSeek毫无保留的开源行为，认为这不仅提供了技术工具，还分享了使用方法。公告中，DeepSeek强调了推理框架的重要性。虽然大模型的能力边界由模型本身决定，但如何以合理成本提供超大规模的模型服务，则取决于一个长期未被公众了解的中间层——即推理框架。训练使模型学有所成，而推理则让模型为人所用。面对海量用户调用，推理框架负责统筹调度庞大的算力集群，其效率直接影响AI服务的算力成本与电力消耗。
DeepSeek一直在研究如何将推理性能推向极致，并积累了不少成果。在此前开源一系列大模型、TileLang编译工具及推理算子库的基础上，这次他们决定进一步将内部推理框架DeepInfer全面开源。希望通过分享内部部署经验，帮助开发者与企业优化大规模推理的吞吐与延迟，从而高效构建私有化及公有云部署，降低算力成本、减少能源消耗，让智能以更低的价格触达更广泛的人群，实现真正的大模型普惠。
行业人士表示这是纯粹的开源精神。具体来说，DeepInfer框架集成了高性能算子和深度优化的推理引擎，支持分布式推理、推测解码等功能，可以在英伟达与华为昇腾平台上运行。设计之初就确定的目标之一是兼容多种厂商的计算芯片，支持在不同硬件平台上部署，并充分发挥各平台的性能。
尽管如此，开源框架也有明确的交付边界。此次发布的版本提供了离线推理及大规模服务所需的核心能力；要搭建完整的在线服务，开发者仍需补齐KV缓存系统、推理阶段分离部署及跨副本负载均衡等组件。因此，这次开源主要开放的是核心引擎与工程经验，企业落地还需投入系统集成和运维工作。从这个角度看，DeepInfer开源的价值在于让更多团队有机会理解并改进模型服务的运行方式。实际节省的成本仍取决于硬件配置、业务负载和部署能力。
