Hugging Face · 每日论文· 媒体 / 作者来源·精选
模型是否使用了该信息？反事实训练提升语言模型的自归因能力
原文标题
Did the Model Use That? Counterfactual Training Boosts Self-Attribution in Language Models
AI 导读
研究探讨了语言模型的自归因能力，即模型能否准确识别并标注出回答中哪些部分受到外部信息的影响。研究发现，11个前沿模型中大多数很少标注有影响的信息，而其他模型则标注了无影响的信息。研究团队提出CREDIT方法，通过反事实标签直接监督最终答案的自归因，无需人工标注。该方法在四个开源模型上显著提升了归因能力，包括两个蒸馏推理模型，性能优于推理级微调和提示基线。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
CREDIT方法通过反事实训练显著提升了语言模型的自归因能力，使模型能准确区分哪些回答依赖于外部信息，适用于需要模型透明度和可解释性的场景。
导读由模型辅助整理，非独立核验。完整信息见原文。