Andrew Ng 称 Marin 项目展示开放模型训练,含开放代码、数据与配方
Andrew Ng 转发 Percy Liang 关于 Marin 项目的消息,称该项目是开放模型训练的一次展示,开放了代码、数据、配方甚至实验结果。他提到公开分享 AI 研究曾是常态,并认可 Percy Liang 的开放实验室做法。被引用的内容显示,Marin 535B-A23B 本周开始训练,预训练占 80%、中期训练占 20%,在 18.75T tokens 上使用 11 台 GB200 NVL72 训练约 3 个月(2.7e24 FLOPs),后续将进行后训练;正式训练前还训练了从 1.6B-A61M(48B tokens)到 27.7B-A1.2B(926B tokens)的四级扩展阶梯用于排查问题并预测主训练结果。
推荐理由:Andrew Ng 借 Marin 项目说明开放训练流程的具体做法,可对照当前闭源训练常态理解开源生态的处境。