Hugging Face · 每日论文· 媒体 / 作者来源·精选
判断正当性：生成式奖励模型的决策证书监督
原文标题
Judging the Justification: Decision Certificate Supervision for Generative Reward Models
AI 导读
生成式奖励模型（GenRMs）生成自然语言理由来证明偏好判断，但正确的判决并不保证合理的证明。为了解决这些限制，研究人员提出了DeCert框架，该框架评估生成理由的有效性和判决一致性，无需参考解释。DeCert将这些评估转化为考虑判决正确性和证明质量的偏好监督。当多个采样的判断具有相同的正确判决时，证书质量的不同使DeCert能够构建区分更强和较弱证明的理由偏好对。在两个模型家族和多个分布内外基准上的大量实证研究表明，DeCert在提高理由质量的同时，始终优于强大的生成式裁判基线。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
DeCert框架通过评估生成理由的有效性和判决一致性，为生成式奖励模型提供了新的监督方法，提高了理由质量。
导读由模型辅助整理，非独立核验。完整信息见原文。