摩尔线程开源万卡级MoE训练基础设施

摩尔线程开源大模型训练基础设施项目 Megatron-MUSA-Titan，基于其全功能 GPU，面向万卡级集群的万亿参数 MoE 模型训练，覆盖预训练与强化学习两大场景。 据摩尔线程称，该项目用于支撑上述规模与场景下的训练任务；开源后可供外部使用。报道未披露具体性能数据或适用范围限制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。