Hugging Face · 每日论文· 媒体 / 作者来源·精选
PPMem:用平面基元为视频世界模型构建持久3D记忆
原文标题
Persistent Planar Memory for Video World Models
AI 导读
研究者提出 PPMem,将平面基元作为视频世界模型的持久3D记忆,每个基元仅需7个参数。它在视频扩散Transformer上增加平面预测头和Depth Token Fusion模块,使自回归生成的每一段同时输出RGB视频与平面几何,并合并为持久平面记忆,通过渲染深度约束后续生成。该记忆比逐像素点云紧凑约三个数量级(约10万个基元、整场景5MB),且具备度量深度、法线和可导出表面。在DL3DV和RealEstate10K上,PPMem的视频质量优于此前的3D接地世界模型,并能在大视角变化下维持数百帧的连贯性。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
用平面基元把视频世界模型的3D记忆压缩到约5MB并保留度量深度与可导出几何,为长视频生成和场景探索提供了更可扩展的记忆表示。
导读由模型辅助整理,非独立核验。完整信息见原文。