Hugging Face · 每日论文· 媒体 / 作者来源·精选
分层稀疏注意力 SSA：极端稀疏下缩小与稠密注意力的差距
原文标题
Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity
AI 导读
研究提出分层稀疏注意力 SSA，将确定性检索与分数引导采样结合，对残差 token 按其计入概率校正，从而找回检索集之外的注意力质量，统一涵盖 top-k、top-p 与混合采样。在 RULER、LongBench、LOFT、AIME 及 3B–27B 共五个模型上，SSA 在同等稀疏度下一致优于基线；在 RULER-HARD、Ministral-3-8B、50 倍注意力稀疏下，32K 准确率从 81.8% 升至 84.2%，128K 从 63.8% 升至 69.3%，分别恢复稠密性能的 94% 与 85%。配合优化 CUDA 内核，1M 上下文解码较 FlashInfer 最高提速 2.96 倍，代码已开源。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
在多个长上下文基准和五个模型上验证了极端稀疏时缩小与稠密注意力差距的方法，并给出 1M 上下文解码最高 2.96 倍的实测加速，适合关注长上下文推理效率的读者。
导读由模型辅助整理，非独立核验。完整信息见原文。