AWS 发布 TorchNeuron 开发工具，让 PyTorch 应用改一行配置跑上 Trainium

周一，Amazon Web Services 发布了一款名为 TorchNeuron 的工具，让 AI 初创公司可以轻松地将他们的 AI 应用迁移到亚马逊的 AI 芯片 Trainium 上。借此，亚马逊也直接向英伟达的软件优势发起挑战——正是这一优势帮助英伟达成为 AI 应用默认的硬件选择，并推动其崛起为 AI 硬件的首选供应商。

TorchNeuron 可与 PyTorch 配合使用，后者是开发者用来构建、训练和运行 AI 模型的免费开源工具包。据亚马逊介绍，它只需更改一行配置，就能让用 PyTorch 编写的 AI 应用在 Trainium 上运行——无需重写代码。

亚马逊表示，约 85% 的 AI 应用是用 PyTorch 编写的。PyTorch 最初由 Facebook 开发，但自 2022 年起，它成为维护开源项目的 Linux 基金会的一部分。英伟达多年来一直确保其 CUDA 软件——即让应用能在英伟达 GPU 及其他硬件上运行的软件基础设施——无缝支持用 PyTorch 编写的 AI 应用。结果，英伟达的硬件如今已深度嵌入该工具包，基本上成为默认选项。

TorchNeuron 改编自 PyTorch，因此熟悉 PyTorch 的开发者已经知道如何使用它。亚马逊并非第一家尝试轻松将自家芯片接入该平台的公司。PyTorch 用户同样可以通过简单的配置更改，将应用移植到 AMD GPU 甚至苹果的芯片上。

不过，亚马逊主张，移植到 Trainium 不仅简单，还能让 AI 初创公司接入亚马逊的整个云生态。不出所料，AWS 声称这对初创公司而言是比使用 neoclouds 更好的选择，后者中有许多与英伟达及其硬件绑定，例如 Coreweave、Nebius 和 Firmus。

“你是在 AWS 上构建。你不是在押注一个单一用途的计算提供商，然后手忙脚乱地在它周围搭建其他一切，”AWS Annapurna Labs（负责制造亚马逊定制芯片的部门）技术软件副总裁 Colin Brace 通过电子邮件告诉 TechCrunch。“在 AWS 上，”他继续说道，“从原型到生产所需的基础设施已经就绪，让创始人能够快速行动，并在需要时扩展规模。”

AWS 表示，由于同一款芯片既能处理训练（教 AI 模型），也能处理推理（让训练好的模型投入实际使用，比如回答用户的问题），并且与初创公司所需的云基础设施紧密集成，因此其云服务能为他们省钱，即便 AWS 并不提供最低的每 token 价格。

“Trainium 的价值在于性价比，加上它是训练和推理合一的平台，这改善了整个工作负载的经济性，”Brace 说。“看看 Deepgram——他们使用原生 PyTorch 支持迁移到了 Trainium，在生产级准确度下，每美元处理的音频量提高了 70%。”Deepgram 是一家 AI 语音应用提供商，是 ElevenLabs 的竞争对手。

但亚马逊并不满足于仅仅为 PyTorch 应用开发者提供一个迁移到其云端的便捷选项。

亚马逊还表示，它正在推动 PyTorch 减少对英伟达的自动侧重，并将把实现这一目标的代码贡献给 PyTorch 主项目。在宣布这款新工具的博客文章中，该公司写道：

“亚马逊的做法超越了自家硬件。该公司正在向 PyTorch 本身贡献上游变更，与 PyTorch 社区合作移除将该框架与特定芯片绑定的代码。目标是让 PyTorch 对整个开发者社区更加硬件无关，而不仅仅是 Trainium 用户。”

虽然这种策略无疑有利于那些销售与 Nvidia 竞争的硬件和云服务的企业，但 PyTorch 的要点之一正是隐藏让 AI 代码在硬件上运行的所有烦人难题。我们只能拭目以待，看看将 Nvidia 推到如此之远，究竟会如亚马逊所承诺的那样给开发者带来更多选择和更实惠的方案，还是只会带来更多配置上的头疼。

无论如何，如果亚马逊成功地将 PyTorch 与 Nvidia 深度解耦，这对 GPU 巨头的影响可能远不止应对芯片竞争对手那么简单。正如 Brace 所说：“真正的故事是移除那种让开发者根本无法做出真正选择的锁定。”

当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。