DeepSeek 开源推理引擎 DeepInfer，支撑 V4.1-Flash 快速低成本推理

Deepseek 已将其内部推理框架 DeepInfer 以 Apache License 2.0 协议开源。推理是训练好的 AI 模型处理请求并生成响应的过程。DeepInfer 是让 Deepseek 的 V4.1-Flash 模型能够大规模快速生成答案的服务软件。

该框架基于 vLLM 构建，具备优化的计算内核、跨多芯片的分布式处理以及更快的文本生成技术。未来 Deepseek 模型的代码也将以开源形式发布。Deepseek 还发布了 deepseek-recipe，它复现了官方 Deepseek API 的 token 处理方式，使自托管部署的行为与官方保持一致。

Deepseek 的模型价格已经非常低廉。DeepInfer 补上了最后一块拼图，让运行这些模型的成本更低。其目标是“帮助社区降低计算成本、减少能源消耗，让 AI 更加可负担”，该公司在 X 上表示。但此次发布也给 OpenAI 和 Anthropic 等西方提供商带来了定价压力。考虑到中美之间的 AI 竞赛，此举也可能带有政治动机。如果西方 AI 公司未能达到增长目标，这将对美国经济乃至更广泛的范围构成风险。

没有炒作的 AI 新闻——由人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。