Thinking Machines 详解 Inkling 2 Small 原生 4-bit 全流程训练
Today on Connectionism: how we trained Inkling 2 Small with a native 4-bit forward pass on @nvidia GB300s, from the first pretraining ste...
AI 导读Mira Murati 发布 Connectionism 博客,详解 Inkling 2 Small 在 NVIDIA GB300 上以原生 4-bit 前向传播从预训练第一步到最终 RL rollout 的完整训练过程。这是全栈多项改进之一,将预训练时间从数周缩短到 68 小时;量化训练更快,但需解决量化误差干扰学习的问题。
另有 2 家信源报道
- Thinking Machines Lab 发布端到端 4-bit 训练技术报告Thinking Machines Lab:官方博客 · 3 天前
- Inkling 2 Small 原生 4-bit 训练详解Thinking Machines · 3 天前
来源:Mira Murati · x.com
事件后续1
查看事件全部- Thinking Machines Lab 发布 Inkling 2 Small:594B 参数 MoE 模型,下周开放 Apache 2.0 权重Thinking Machines Lab:News · 11 天前