DeepSeek开源推理框架DeepInfer，对等支持华为昇腾950与英伟达SM100

（本文作者为 飞向TAI空，钛媒体经授权发布）

图片来源：unsplash

10月20日，DeepSeek宣布开源自研推理框架DeepInfer，持续引发关注。

其中，华为昇腾950系列NPU与英伟达SM100（Blackwell架构GPU）同时出现在支持名单中，成为了讨论的热点话题之一。尤其是美国国土安全部于当地时间10月19日公开了一份禁令，要求美国相关行政机构停止采购DeepSeek相关产品和服务，更刺激了相关讨论的热度。

从目前DeepSeek官方发布的技术报告和各类技术解读来看，华为与英伟达在DeepInfer中处于对等的构建选项地位，来自同一代码树。模型推理过程中，仅通过一个环境变量就能完成在这两类硬件之间的切换。而在此前的很长一段时间中，国产芯片架构即使在DeepSeek等国产大模型中，也多作为次序靠后的“补充后端”存在。

这很大程度上代表着，推理时代到来后，国产芯片在AI基础设施中的角色已经发生变化。

过去，在国产模型与国产芯片的适配中，往往需要围绕既有模型和软件框架进行大量移植工作。即使模型能够运行，也不意味着能够达到理想的吞吐量、延迟和稳定性。由于CUDA及其配套工具积累深厚，开发者通常优先选择英伟达平台，其他硬件则需要额外的适配与优化，增加了成本和不稳定性。这种差距不仅来自芯片性能，也来自软件生态的成熟程度，人们熟知的“硬件霸主英伟达的护城河是CUDA软件”等说法即由此而来。

而在DeepInfer框架中，开发者能够在相对统一的软件框架下开展部署和优化，对于目前原生支持的华为与英伟达相关芯片来说，二者间的迁移成本理论上趋于抹平。有创业者在社群讨论中举例称，一个新项目启动时，开发团队不再天然地先假设英伟达、再考虑其他，而是可以在同一套框架下，根据供货、成本、合规或地缘条件来做选择。而随之而来的，获得原生支持和更多用例的国产芯片，也有望通过真实的业务部署积累优化经验，形成新的正向循环。

对于推理需求来说，国产芯片从“补充角色”到“对等主力角色”的进阶更加顺利。云天励飞董事长兼CEO陈宁曾介绍称，训练对CUDA的依赖，和推理对CUDA的依赖，不在一个量级上。英伟达是训练时代当之无愧的王者和标准制定者，换平台等于重新造轮子，费力不讨好。但推理时代，模型是训练好的要去完成任务的，关键就变成了成本、效率和系统能力，实际上所有人等于都站在同一条新的起跑线上。这为新的软件栈、生态体系的竞争留下了很大的空间。

不少业内人士也认为，训练芯片生态壁垒极高，但推理赛道门槛要低得多，国产场景尤其丰富，有利于国产芯片企业的生态突围，这也被视作国产模型与芯片协同的重要突破口。而且，目前来看相关供应缺口仍然不小，路透社10月20日报道称中国互联网大厂近期都在大批量采购英伟达显卡，相关产品虽非AI数据中心专用但仍能满足AI推理需求，而英伟达方面面对集中爆发的订单已经难以拿出足够的供给。这也侧面印证了，如果顶尖模型能进一步压低国产芯片适配门槛，后者就有机会在实际部署中获得更多订单。

不过，值得注意的是，目前DeepInfer公开的性能基准主要还是基于英伟达GPU，尚无法据此判断昇腾950在相同模型、相同负载下的吞吐量、延迟和能耗是否接近英伟达平台。而且，DeepSeek也在技术报告中强调，DeepInfer此次开放的是离线推理框架，完整生产服务所需的KV Cache管理、负载均衡等部分组件并未全部公开。社交平台X上，不少科技博主也就此提示，目前虽然代码能在两类硬件上构建和运行，但要证明这种能力足以支撑大规模商业部署，还需要更多实测数据和第三方验证。而且，英伟达2025年3月就开源了推理框架Dynamo，今年3月还进行了生产级迭代，旨在配合自家硬件更好应对大模型推理挑战，其近期战略布局和资源倾斜明显更加重视推理场景，这也让相关竞争变得更加激烈。

但从另一方面来看，国产芯片在训练场景也仍在追赶英伟达。根据The Information的最新报道，DeepSeek正与华为深度合作，共同设计下一代AI芯片。华为工程师已进驻DeepSeek参与研发，并计划优先供应下一代训练芯片，优化芯片的数据计算与传输能力，帮助DeepSeek未来使用国产芯片训练先进模型，降低对英伟达的依赖。

在今年4月末DeepSeek V4正式发布前，国产顶级模型和顶级芯片的合作一直是关注焦点，但彼时能看到的进展并不多，甚至其效果还要低于一些业内人士的预期。目前来看，从DeepSeek在国产生态支持下的降价，到推理框架的对等兼容，再到训练场景降低对英伟达依赖的尝试，国产芯片替代、国产芯模协同的节奏，有望进一步加速。（本文首发于钛媒体APP，文｜飞向Tai空）

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App