先了解这件事
Thinking Machines Lab 发表研究,系统刻画 LoRA 与全量微调(FullFT)表现相当的“低后悔区间”,覆盖多数后训练场景。核心结论是 LoRA 应用于全部权重层尤其是 MLP/MoE 层且容量不受限时,监督微调与 LoRA 样本效率和最终性能与 FullFT 相当;RL 场景即使 rank=1 也能完全匹配。
最新进展
Thinking Machines Lab 发布 LoRA Without Regret 研究
事件进展1
Thinking Machines发布LoRA微调效率研究
Thinking Machines Lab:官方博客:Thinking Machines Lab 发布 LoRA Without Regret 研究