Hugging Face · 每日论文· 媒体 / 作者来源·精选
Nestor：嵌套稀疏机制提升大规模预训练与持续学习能力
原文标题
Nested Sparsity for Scalable Pretraining and Continual Learning
AI 导读
研究提出Nestor模型，通过嵌套稀疏机制替代传统MoE的注意力算子，在相同计算量和稀疏度下，语言模型预训练性能优于传统MoE。该机制能有效适应更长上下文和更高效地适应新领域，同时减少对旧领域的遗忘，且这些优势随模型规模、数据集大小和上下文长度增长而持续存在。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
Nestor提供了一种新的条件计算机制，通过嵌套稀疏结构在保持计算效率的同时提升了模型预训练和持续学习的能力。
导读由模型辅助整理，非独立核验。完整信息见原文。