Hugging Face · 每日论文· 媒体 / 作者来源·精选
无需校准数据的MoE解码通道选择方法
原文标题
Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data
AI 导读
研究显示MoE模型在小批量交互解码时因加载路由专家权重而存在瓶颈。传统基于校准阈值的通道选择方法无法准确控制读取量且可能导致重复循环崩溃。研究提出top-k选择方法，无需校准数据，在13%和18%预算下，43项比较中有40项表现优于或等于阈值版本。同时引入基于模型权重的阅读器，在三个后训练MoE模型上保留98.1%准确率，仅需17.8%的路由专家读取量，Triton内核运行速度比优化后的vLLM快1.60至2.69倍。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
研究提出无需校准数据的MoE通道选择方法，显著提升小批量解码效率，适用于所有MoE模型部署场景。
导读由模型辅助整理，非独立核验。完整信息见原文。