Hugging Face · 每日论文· 媒体 / 作者来源·精选
研究：后训练让模型回答趋同，CAP偏好数据可按用户方言密度校准
原文标题
Answering in the User's Variety: Calibrated Accommodation Pairs for Post-Training
AI 导读
研究追踪SFT、DPO和强化学习如何改变模型匹配用户语言习惯的倾向，在10个开源模型系列中发现后训练会把回复统一成标准英语，且DPO更新仍更偏好匹配英式、澳式拼写而非AAE和新加坡英语。作者提出校准化适配偏好对CAP，在完全开源模型上提升了未训练特征的收敛，未增加标准英语用户的方言输出，也未损害指令遵循；单边偏好对则靠过度迁就用户取得类似增益。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
论文给出后训练各阶段对语言适配的系统观察，并提出可复现的偏好数据方法CAP，附有开源代码，适用于关注对齐与方言适配的研究者。
导读由模型辅助整理，非独立核验。完整信息见原文。