Hugging Face · 每日论文· 媒体 / 作者来源·精选
BSD：用自蒸馏统一跨词表与闭源API教师
原文标题
Bridged Self-Distillation for On-Policy Learning
AI 导读
研究提出 Bridged Self-Distillation（BSD）框架：外部教师只提供离线推理轨迹，作为特权上下文；学生模型自身在无上下文条件下生成 rollout，再由同一学生的上下文条件副本充当自教师，在学生自身词表空间为这些 rollout 打分，并结合验证器结果信号调整失败轨迹的更新。由于教师只需输出文本，该方法统一适用于共享词表、跨词表和闭源 API 教师场景，在各类场景中均优于基线和专用方法，代码已开源。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出一种只依赖教师文本输出的统一在线蒸馏框架，覆盖跨词表和闭源API教师等此前需分别处理的情形，并公开代码，适用于研究蒸馏方法者参考。
导读由模型辅助整理，非独立核验。完整信息见原文。