Hugging Face · 每日论文· 媒体 / 作者来源·精选
Specter：用量化多步投机卸载加速MoE推理
原文标题
Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading
AI 导读
Specter将量化、投机解码与专家卸载结合，用轻量量化草稿模型在设备上保留高保真的专家激活模式，从而提前预测并调度后续专家数据的搬移。在单请求推理下，相比当前最优系统，TPOT平均快1.50倍、最高1.88倍，使显存受限的单卡MoE推理更可行。代码已开源。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
给出量化草稿模型驱动多步专家预取的具体系统设计，并在单请求场景测得TPOT平均1.50倍、最高1.88倍加速，适用于受PCIe卸载瓶颈限制的MoE推理。
导读由模型辅助整理，非独立核验。完整信息见原文。