Hugging Face · 每日论文· 媒体 / 作者来源·精选
FCP 辅助目标让自回归视频生成更好建模场景演变
原文标题
Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation
AI 导读
论文指出,在教师强制下,自回归视频扩散模型容易依赖局部视觉连续性来去噪当前片段,未必真正学会场景如何演变。作者提出 Future Chunk Prediction(FCP):在教师强制去噪之外,同时预测与当前相隔一段时间、且看不到中间视觉上下文的片段。该方法直接从训练视频取监督,不需要额外的预训练视觉编码器,也不改变自回归推理。结果显示,在总体训练计算量更低的情况下,其物理合理性优于标准教师强制训练;可视化还显示,表示空间更有结构,作者认为这可能有助于构建自回归世界模型。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
论文给出可复用的训练目标,删除视觉演变捷径,在不增加推理改动、降低训练算力下提升物理合理性,属视频世界模型研究进展。
导读由模型辅助整理,非独立核验。完整信息见原文。