Hugging Face · 每日论文· 媒体 / 作者来源·精选
FAPL：让多模态大模型潜变量真正控制电影级视频生成
原文标题
Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation
AI 导读
研究提出 Factor-Aware Predictive Learning（FAPL），把有效利用 MLLM 潜变量作为共同前提，再用互补学习信号分别实现要素感知控制与稀疏输入下的时间推断。方法含三步：冻结 MLLM 仅靠潜变量训练 DiT；用成对视频做要素跨度替换；以文本、完整视频共享目标并冻结 DiT 反训 MLLM。实验在稀疏到视频、要素感知编辑和多镜头生成三个任务上均优于基线。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
论文给出让 DiT 真正利用 MLLM 潜变量、并同时控制角色/场景/动作/相机的三阶段训练方法，在三个电影级视频生成任务上验证有效。
导读由模型辅助整理，非独立核验。完整信息见原文。