摩尔线程开源万卡级MoE训练基础设施

摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan。该项目基于其全功能 GPU，面向万卡级集群的万亿参数 MoE 模型训练，覆盖预训练与强化学习，为开发者提供面向 MUSA 平台的训练适配与系统优化能力。 摩尔线程称，该项目已在其万卡级集群的万亿参数 MoE 预训练中持续应用，支持 blockwise FP8 训练，并可结合 DeepEP 与 ACE 异步通信引擎实现专家并行与计算重叠；同时可与 slime、miles 强化学习框架协同，结合 Megatron 训练与 SGLang 样本生成。上述应用效果均为摩尔线程方面的说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。