Hugging Face · 每日论文· 媒体 / 作者来源·精选
Swift:用早期弱模型外推目标,少一半算力训练扩散模型
原文标题
SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation
AI 导读
研究提出自引导训练法 Swift,冻结一个早期检查点的弱去噪器,把干净回归目标朝远离其预测的方向外推,放大欠拟合分量;主模型不反传、推理不加引导。CIFAR-10 与 ImageNet-256 上跨模型规模均有提升,某 ImageNet-256 配置下用约一半总训练算力超过基线最佳 FID;RAEv2 上无引导 FID 1.15、加引导 0.99。作者给出 RKHS 有限时间梯度流谱分析,证明适当外推强度可降低后验均值误差。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
给出无需推理开销的扩散训练新方法与理论、实验证据,属可复用训练方法但尚待更大规模验证。
导读由模型辅助整理,非独立核验。完整信息见原文。