AI at Meta· @AIatMeta · X·· 2 小时前精选AI 评分58
AI 导读
Meta 在俄亥俄州 New Albany 的吉瓦级超算集群 Prometheus 上训练了 Muse 系列基础模型，包括 Muse Wonder。该集群拥有数十万块 GPU，预训练 goodput 达 85%+，强化学习 goodput 达 90%+，Muse Wonder 训练期间平均每约 47K GPU 小时出现一次中断。
推荐理由
原文给出 Prometheus 超算集群在预训练与强化学习上的 goodput 和中断间隔数据，可作为大规模训练基础设施的参考。
正文 · AI 翻译
我们在位于俄亥俄州新奥尔巴尼的千兆瓦级超级集群 Prometheus 上训练了我们的 Muse 基础模型，包括 Muse Wonder。
在一个拥有数十万块 GPU 的超级集群中，哪怕只有一台主机性能不达标，也可能拖慢整个训练运行。我们为 Prometheus 设计了大规模容错能力，在预训练上实现了 85%+ 的有效算力利用率（goodput），在强化学习上达到 90%+，并在 Muse Wonder 训练期间实现了约 47K GPU 小时的平均无中断时间。
来看看驱动 Prometheus 的技术：https://go.meta.me/4yXXApZ
来源：AI at Meta · x.com