Hugging Face · 每日论文· 媒体 / 作者来源·精选
Meta Expert：跨层共享专家，降低MoE存储并提升检索效率
原文标题
Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE
AI 导读
研究比较多层Local Expert与跨层共享的Meta Expert，发现共享专家参数冗余更低、交叉熵损失更小、下游准确率更高。在激活专家数量和粒度固定时，仅用70–80%的专家即可达到普通MoE性能；理论分析称Meta Expert为隐藏状态提供更灵活的残差通路，提升信息检索效率。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
给出跨层共享专家在MoE中减少冗余的具体实验对比与70–80%专家用量结果，属模型架构研究，尚需按论文实验范围理解。
导读由模型辅助整理，非独立核验。完整信息见原文。