Hugging Face · 每日论文· 媒体 / 作者来源·精选
DisaggKD：通过教师-学生分离与融合损失实现高效知识蒸馏
原文标题
DisaggKD: Efficient Knowledge Distillation through Teacher-Student Disaggregation and a Fused Loss
AI 导读
DisaggKD框架将教师模型和学生模型分离到不同节点，通过流式传输隐藏状态、行窗口和词汇分片的蒸馏损失，避免形成完整词汇表logits，并使用预取环协调生产者和训练者。在Qwen3.5-35B-A3B到9B模型对上，分离布局与同节点布局的损失相同且速度更快；融合损失使同节点训练在更少节点上加速，而分离布局在学生跨多节点时内存效率更高。在大规模模型对中，融合损失的同节点运行仍会内存溢出，而分离布局可成功训练。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
DisaggKD解决了知识蒸馏中教师模型受单GPU内存限制的瓶颈，使大规模模型蒸馏训练成为可能，显著提升训练效率和可扩展性。
导读由模型辅助整理，非独立核验。完整信息见原文。