先了解这件事
Meta 在工程博客中介绍其位于俄亥俄州 New Albany 的吉瓦级超算集群 Prometheus,称一期已建成并用于训练 Muse 系列基础模型,目标扩展到约 100 万张 GPU。
Meta 在 X 上补充称,该集群目前拥有数十万张 GPU,预训练 goodput 达 85% 以上、强化学习达 90% 以上;训练 Muse Wonder 期间平均约 47K GPU 小时发生一次中断。这些数字均为 Meta 单方面说法,集群规模目标能否达成、训练效果如何尚无第三方验证。
AI 根据报道生成 · 28 天前更新最新进展
Meta 介绍在俄亥俄州 Prometheus 超级集群上训练 Muse 基础模型的工程细节
事件进展1
Meta分享Prometheus超算集群工程实践
Meta Engineering Blog:Meta 详解 Prometheus 吉瓦级超集群:一期已完成并用于训练 Muse 模型