Hugging Face · 每日论文· 媒体 / 作者来源·精选
Ask-to-Distill：用生成的问题做策略蒸馏，无需参考答案
原文标题
Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
AI 导读
论文提出Ask-to-Distill，把合成问题当作分布引出器，用冻结的学生-教师模型对计算问题价值：结合师生分歧、教师概率质量与学生候选支持，并加入长度和多样性控制，无需参考答案、正确性奖励或逐候选更新。生成的问题经筛选去重后进入纯提示题库供标准OPD使用，在数学推理、代码生成与Agent任务上平均性能超过未优化提示和KL过滤的真实问题。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出无需参考答案的问题价值代理指标与生成流程，并在三类任务上给出相对真实题库和过滤基线的评测结果。
导读由模型辅助整理，非独立核验。完整信息见原文。