跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
Hugging Face · 每日论文· 媒体 / 作者来源·精选

Swift:用早期弱模型外推目标,少一半算力训练扩散模型

原文标题

SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation

AI 导读

研究提出自引导训练法 Swift,冻结一个早期检查点的弱去噪器,把干净回归目标朝远离其预测的方向外推,放大欠拟合分量;主模型不反传、推理不加引导。CIFAR-10 与 ImageNet-256 上跨模型规模均有提升,某 ImageNet-256 配置下用约一半总训练算力超过基线最佳 FID;RAEv2 上无引导 FID 1.15、加引导 0.99。作者给出 RKHS 有限时间梯度流谱分析,证明适当外推强度可降低后验均值误差。

来源:Hugging Face · 每日论文 · arxiv.org

导读与选稿说明

给出无需推理开销的扩散训练新方法与理论、实验证据,属可复用训练方法但尚待更大规模验证。

导读由模型辅助整理,非独立核验。完整信息见原文。