Hugging Face · 每日论文· 媒体 / 作者来源·精选
论文：用KL指标预测自蒸馏中特权信息的效果
原文标题
Predicting Privileged Information Effectiveness for On-Policy Self-Distillation
AI 导读
研究系统评估了OPSD（在策略自蒸馏）中16种特权信息配置，覆盖三个多轮Agent基准和三个不同规模、推理模式的学生模型。结果显示，PI效果取决于内容、生成来源和学生模型：信息密集轨迹和更强生成器产出的PI增益更大，思考模型受益较不一致。研究提出两个KL指标（采样token反向KL和错误步KL对比）来在训练前评估PI，比PI效用更可靠，且用错误步KL选PI优于随机选择；有效PI与GRPO结合还能超过强GRPO基线。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出用KL指标在训练前预测特权信息效果的方法，并在多轮Agent基准上验证优于随机选择，为OPSD中PI构建提供可复用的评估手段。
导读由模型辅助整理，非独立核验。完整信息见原文。