Hugging Face · 每日论文· 媒体 / 作者来源·精选
Transformer的条件无毛定理：语言模型如何遗忘提示词
原文标题
A Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt
AI 导读
研究显示，自回归Transformer模型在生成t个token后，提示词对隐藏状态的影响呈幂律衰减t^{-α}，训练后的模型遗忘较快(α≈0.55-0.7)，未训练模型遗忘较慢(α≈0.2-0.5)。研究证明了有限深度预归一化softmax Transformer的遗忘界限，并提出了'条件无毛定理'：随着生成文本增长，提示词对下一个token的影响会消失，任何保留的提示词属性必须由文本本身携带。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
揭示了Transformer模型中提示词遗忘的数学机制，为理解语言模型记忆特性提供了理论基础，有助于改进提示工程和模型设计。
导读由模型辅助整理，非独立核验。完整信息见原文。