事件记录历史事件
FAPL 要素感知预测学习用于电影级视频生成
1 篇报道1 个报道来源4 天前更新
先了解这件事
报道摘要
研究提出 Factor-Aware Predictive Learning（FAPL），把有效利用 MLLM 潜变量作为共同前提，再用互补学习信号分别实现要素感知控制与稀疏输入下的时间推断。方法含三步：冻结 MLLM 仅靠潜变量训练 DiT；用成对视频做要素跨度替换；以文本、完整视频共享目标并冻结 DiT 反训 MLLM。实验在稀疏到视频、要素感知编辑和多镜头生成三个任务上均优于基线。
摘自 Hugging Face · 每日论文
报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- Hugging Face · 每日论文精选FAPL：让多模态大模型潜变量真正控制电影级视频生成
研究提出 Factor-Aware Predictive Learning（FAPL），把有效利用 MLLM 潜变量作为共同前提，再用互补学习信号分别实现要素感知控制与稀疏输入下的时间推断。方法含三步：冻结 MLLM 仅靠潜变量训练 DiT；用成对视频做要素跨度替换；以文本、完整视频共享目标并冻结 DiT 反训 MLLM。实验在稀疏到视频、要素感知编辑和多镜头生成三个任务上均优于基线。