Hugging Face · 每日论文· 媒体 / 作者来源·精选
First Passage Attention：用路径极值替代累积衰减，实现选择性遗忘与长度外推
原文标题
First Passage Attention
AI 导读
论文提出 First Passage Attention（FPA），将遗忘门从沿键-查询路径累加衰减改为路径极值：根据学习到的标量场在区间内的最深下探，按比例降低键的 logit，从而选择性擦除中间上下文而保留更早的相关 token。FPA 将 Forgetting Transformer（FoX）作为特例；在合成实验中，单层 FPA 头能收敛到目标键集合，而 softmax 和 FoX 基线在每个随机种子上都失败；在 1.1 亿参数语言模型上，FPA 困惑度与 FoX 持平，并在 8 倍训练长度下唯一实现完美 passkey 检索，键值缓存压缩至约 25% 时仍有效。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出用路径极值替代路径求和的注意力遗忘机制，在合成任务和 1.1 亿参数语言模型上验证了选择性遗忘与训练长度 8 倍的 passkey 检索能力，适用于长上下文研究。
导读由模型辅助整理，非独立核验。完整信息见原文。