微软研究院：把物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

Two images showing the robot performing the same task of handing over a tape from one robot arm to another. The videos show that while the task succeeds when the inference latency is low, the handover fails with high inference latency as is the case with onboard robot GPUs.

概览

挑战机器人 AI 的一个核心假设：我们的研究表明，仅在机载 GPU 上运行物理 AI 推理会限制机器人性能、电池寿命和可扩展性，而将推理卸载到边缘或云端 GPU 可带来显著优势。
展示推理卸载的可量化收益：在具有代表性的移动操作工作负载中，卸载提升了任务成功率，支持了更大的 AI 模型，并帮助机器人在动态的真实环境中更有效地响应。
延长机器人运行时间：用轻量级机载硬件和远程推理替代高功耗的机载 AI 计算，可大幅提升电池寿命，使机器人在两次充电之间运行更长时间。
在 Physical AI Toolchain 中引入新能力：开发者现在可以使用基于 Kubernetes 的工具，将机器人 AI 工作负载容器化、部署并编排到机器人、边缘基础设施和云端，实现分布式推理。

随时可用的物理 AI，让机器人协助用户在制造、家庭和仓库场景中工作，在广泛的任务中具有提升安全性、生产力和辅助能力的巨大潜力。在许多方面，面向物理世界的 AI 代表了 AI 的一大前沿。物理 AI 必须在开放且不可预测的环境中运行，与其他机器人和人交互，并适配多样化的具身形态。实现这一愿景需要在三个维度上取得进展：机器人硬件、具身 AI 模型，以及用于训练和推理的系统基础设施。尽管近年来机器人硬件和 AI 模型发展迅速，我们将关注点转向一个相对较少被涉及的方面：物理 AI 的推理基础设施。要让机器人在物理世界中有效且安全地运行，需要复杂的系统来处理大量分布式推理计算。

如今，物理 AI 的主流做法是在机器人机载配置一块 GPU，例如将 GPU 连接到机器人上。在这种模式下，机器人的推理将局限于机载 GPU，并为机器人提供执行任务所需的分块和动作序列。虽然更高层的规划可能在云端执行，但任务执行通常仍与机器人本身绑定。我们挑战这一假设。随着物理 AI 模型规模和复杂度的增长，机载计算的限制变得越来越明显。GPU 消耗大量电力，缩短电池寿命，增加成本和重量，并可能限制运行最新一代 AI 模型的能力。

为了更好地理解物理 AI 的系统影响，我们对机器人工作负载进行了首次系统性研究。我们聚焦于移动机器人操作，其典型任务如“检查厨房里是否有垃圾并将其放入垃圾桶”。此类任务涉及规划前往厨房的路径、感知环境以找到垃圾、导航到垃圾处、捡起垃圾，以及导航回垃圾桶进行处置。我们评估了在三个核心能力上的代表性模型：语义建图与规划、导航和操作，如图 2 所示。

Mobile robotic manipulation involves the components of semantic mapping & planning, manipulation, and safe navigation. The table above lists the state-of-the-art models used for each of these components in our measurement study. — 图 2：用于移动操作不同组件的模型详情。

将物理 AI 推理从机器人上卸载，改善了其响应时间和准确性，同时延长了电池寿命并降低了成本。我们在多种板载、边缘和云端计算配置下评估了推理模型。具体测试硬件的详细信息可在我们的技术报告中获取。

Diagram showing that offloading Physical AI inference from robots improves performance, battery efficiency, and cost.

任务性能方面的优势：我们的评估表明，卸载推理可以显著提升机器人在建图、规划、导航和操作工作负载中的性能。一些较小的 GPU 无法承载移动操作堆栈。在内存充足的 GPU 上，建图和规划相比 A100 最多减慢 383%，从而限制了机器人在动态空间中的能力。使用较轻量 GPU 时，导航对障碍物的及时检测下降了 30%。虽然 VLA 模型在较小 GPU 上并未大幅减慢，但减慢幅度仍足以使其准确率下降 50%。换言之，板载 GPU 限制了机器人的性能，而将推理卸载到本地或云端 GPU 则可提升其运行表现，如下方视频所示，并在图表中量化呈现。随着物理 AI 模型的规模和复杂度持续增长，卸载带来的优势可能会更加明显。

图 3a：视频展示了使用板载 GPU 时的交接任务。

图 3b：视频展示了卸载推理时的交接任务。

Robots can support GPUs such as Jetson Nano and Orin AGX onboard. The graphs above show that the success rate of object handover and navigation are low with onboard GPUs, but increase substantially with beefier GPUs when offloaded such as Jetson Thor and A100. — 图 4：使用不同 GPU（部分板载，部分卸载）执行推理时，机械臂相互交接物体的成功率。卸载提高了成功率。

电池寿命方面的优势：除了性能之外，板载 GPU 还会显著消耗机器人的电池寿命。我们通过将板载 GPU 替换为 Raspberry Pi-5 板卡并将所有数据发送到卸载 GPU，比较了电池寿命的提升。较大的板载 GPU，例如 Jetson Thor，即使对于较大的机器人，也会使机器人电池消耗最多增加 160%（即数小时）。

Battery lifetime of the Stretch-3 robot can improve by over 100% when their GPU inference is offloaded out of the robot. — 图 5：卸载 GPU 推理对机器人电池寿命的影响；以上数据针对 Stretch-3 机器人。

上述结果表明，将 GPU 推理从机器人上卸载，对于在开放世界中运行大模型并实现长电池寿命至关重要。尽管如此，将推理从机器人上卸载涉及性能、网络延迟和带宽以及可用 GPU 资源之间的复杂权衡。我们相信，我们的测量研究将为物理 AI 推理系统的设计提供参考。

聚焦：活动系列

Microsoft Research Forum

加入我们，围绕通用人工智能时代的研究展开持续的思想交流。按需观看最新剧集。

自动卸载工具集

我们构建了一套工具集，用于轻松地将推理从机器人卸载出去，并在边缘 GPU 与云之间分配推理。Kubernetes 是一个天然的平台，可提供统一的抽象，将机器人 AI 分布在机器人的计算、边缘 GPU 上，并溢出到云端。该工具集允许使用声明式规范自动对机器人工作负载进行容器化和卸载，使用 Kubernetes 以智能策略分发物理 AI 容器，并与机器人模拟器、LeRobot 和 ROS2 集成，便于开发。下面的步骤序列展示了如何向该工具集提示要卸载什么，以及它如何为 GPU 推理创建单独的容器并卸载该推理。

Toolset to make offloading of physical AI inference easy by automatically generating a container for GPU inference and deploying it using Kubernetes to the machine with GPU. — 图 6：卸载工具集中容器化与部署的步骤。

微软最近发布了 Physical AI Toolchain（在新标签页中打开），用于大规模运营物理智能。Physical AI Toolchain 是一个开源、生产就绪的框架，它将 Microsoft Azure（在新标签页中打开）云服务与 NVIDIA 的（在新标签页中打开）物理 AI 技术栈集成在一起，加速机器人和物理 AI 开发者跨感知、移动、模仿学习和强化学习流水线自动化和扩展数据整理、增强与评估。我们宣布在 Physical AI Toolchain 中新增一项业界首创的能力，用于机器人的卸载式物理 AI 推理。此版本包含用于卸载 SO-101 和 UR10e 推理的示例项目。下面的视频展示了将面向双臂机器人的微软 Rho 模型的推理卸载到 Jetson Thor GPU，该 GPU 控制 Mobile Aloha 机器人（在新标签页中打开）的动作。

图 7a：卸载微软 Rho 模型的 GPU 推理，控制 Mobile Aloha 机器人与 BusyBox 交互以按下蓝色按钮。

图 7b：卸载微软 Rho 模型的 GPU 推理，控制 Mobile Aloha 机器人与 BusyBox 交互以将旋钮转到位置 4。

查看推理卸载功能，研究源代码，并告诉我们你的反馈。我们已经用许多真实用例进行了测试，并期待听到你的部署经验。