Thinking Machines Lab 提出 On-Policy Distillation 训练方法
On-Policy Distillation
AI 导读Thinking Machines Lab 发布技术博客,提出 on-policy distillation:从学生模型采样轨迹,由教师模型对每个 token 计算反向 KL 作为密集奖励。
来源:Thinking Machines Lab:官方博客 · thinkingmachines.ai
事件后续1
查看事件全部- Thinking Machines Lab 提出 On-Policy Distillation 训练方法Thinking Machines Lab:官方博客 · 10 月 27 日