先了解这件事
Thinking Machines Lab 发布技术博客,提出 on-policy distillation:从学生模型采样轨迹,由教师模型对每个 token 计算反向 KL 作为密集奖励。
最新进展
Thinking Machines Lab 提出 On-Policy Distillation 训练方法
事件进展1
Thinking Machines发布On-Policy Distillation研究
Thinking Machines Lab:官方博客:Thinking Machines Lab 提出 On-Policy Distillation 训练方法