Hugging Face · 每日论文· 媒体 / 作者来源·精选
无需训练、直接编辑权重:新方法让指令微调模型更难执行有害指令
原文标题
Resisting Harmful Instructions through Training-Free Weight Editing
AI 导读
研究者提出一种无需训练的权重编辑方法,用于降低语言模型对特定不良指令的遵从度。该方法只需对每个目标行为的一小批提示对做前向计算,且编辑写入模型权重,提示词中删除或修改指令也无法撤销。在五种指令微调模型上针对“被指示说谎”和“被指示性别歧视”两类行为测试:在两个说谎基准上,诚实回答率比最强基线分别提高6.2和4.6个百分点,五种模型中有三种显著、另两种在噪声范围内;性别歧视回答率均值从57.9%降至24.3%,结合公平性提示进一步降至11.9%。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出可直接作用于模型权重的免训练干预手段,无需微调即可降低对特定有害指令的遵从,且不能通过改写提示词绕过,可用于对齐加固与安全部署。
导读由模型辅助整理,非独立核验。完整信息见原文。