判断正当性:生成式奖励模型的决策证书监督
生成式奖励模型(GenRMs)生成自然语言理由来证明偏好判断,但正确的判决并不保证合理的证明。为了解决这些限制,研究人员提出了DeCert框架,该框架评估生成理由的有效性和判决一致性,无需参考解释。DeCert将这些评估转化为考虑判决正确性和证明质量的偏好监督。当多个采样的判断具有相同的正确判决时,证书质量的不同使DeCert能够构建区分更强和较弱证明的理由偏好对。在两个模型家族和多个分布内外基准上的大量实证研究表明,DeCert在提高理由质量的同时,始终优于强大的生成式裁判基线。
