跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
Hugging Face · 每日论文· 媒体 / 作者来源·精选

PAR:让循环模型的额外迭代对齐进度,512步状态跟踪达95.5%

原文标题

PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking

AI 导读

论文提出 Progress-Aligned Recurrence(PAR):把第k次迭代的预测对齐到前k步后的状态,并把循环状态缩放回首次迭代的范数。用最多32步训练的Qwen2.5-0.5B在swap-S_5上做512步全状态跟踪,平均准确率95.5%,为训练长度的16倍;同骨干下RLT为55.7%,显式思维链仅0.8%。消融显示去掉范数锚定后外推倍数从16倍降至2.2倍以下,把进度对齐目标换成最终答案监督则至多8倍。

来源:Hugging Face · 每日论文 · arxiv.org

导读与选稿说明

给出可复用的训练方法:进度对齐目标加范数锚定,使循环深度在状态跟踪任务上的外推从不到2.2倍提升到16倍,并附同骨干对照与消融结果。

导读由模型辅助整理,非独立核验。完整信息见原文。