Hugging Face · 每日论文· 媒体 / 作者来源·精选
Kronecker Delta Rule for Long Context Linear Attention
原文标题
Kronecker Delta Rule for Long Context Linear Attention
AI 导读
研究人员提出KronLSTM，一种基于Kronecker Delta Rule的新型线性注意力架构，通过最小侵入式内存修正机制减少信息干扰，特别适合长上下文语言建模。实验表明，KronLSTM在长上下文基准测试中表现优异，性能优于现有线性注意力架构，且内存动态稳定无需额外归一化机制。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
KronLSTM解决了长上下文建模中的内存干扰问题，为稳定的大规模语言模型提供了新的数学基础和开源实现。
导读由模型辅助整理，非独立核验。完整信息见原文。