Hugging Face · 每日论文· 媒体 / 作者来源·精选
无数据自训练：大型语言模型的无外部监督自我改进方法
原文标题
On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
AI 导读
研究提出一种基于策略的自训练框架，模型仅通过粗略的高层次主题描述，自主生成问题-答案对和特权推理演示，无需人工策划的提示或答案。实验表明，这种完全合成的特权信息蒸馏方法使模型在多个领域获得提升，同时保留未训练领域的能力，并在文本和多模态领域均实现标准语言基准和视觉问答任务的持续自我改进。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
研究证明基础模型可通过完全自生成的合成信息实现无外部监督的自我改进，适用于多领域和多模态场景。
导读由模型辅助整理，非独立核验。完整信息见原文。