Hugging Face · 每日论文· 媒体 / 作者来源·精选
政策而非能力：安全基准测量的是训练中采用的'不安全'定义
原文标题
Policy Is Not Capability: Some Safety Benchmarks Measure Which Definition of "Unsafe" You Trained On
AI 导读
研究显示，安全护栏分类器的性能主要取决于训练时采用的'不安全'定义，而非模型本身的能力。同一组提示使用两种不同定义标注后训练的模型，在相同架构下，安全基准得分差异可达23倍。仅0.03%的参数变化就能使基准分数跨越整个范围，验证准确率与标注者政策定义的一致性(rho=+0.74)远高于检测能力(rho=+0.34)。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
揭示了安全评估中政策定义对模型性能的决定性影响，为AI安全基准测试提供了新的评估维度和改进方向。
导读由模型辅助整理，非独立核验。完整信息见原文。