跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
Hugging Face · 每日论文· 媒体 / 作者来源·精选

PPMem:用平面基元为视频世界模型构建持久3D记忆

原文标题

Persistent Planar Memory for Video World Models

AI 导读

研究者提出 PPMem,将平面基元作为视频世界模型的持久3D记忆,每个基元仅需7个参数。它在视频扩散Transformer上增加平面预测头和Depth Token Fusion模块,使自回归生成的每一段同时输出RGB视频与平面几何,并合并为持久平面记忆,通过渲染深度约束后续生成。该记忆比逐像素点云紧凑约三个数量级(约10万个基元、整场景5MB),且具备度量深度、法线和可导出表面。在DL3DV和RealEstate10K上,PPMem的视频质量优于此前的3D接地世界模型,并能在大视角变化下维持数百帧的连贯性。

来源:Hugging Face · 每日论文 · arxiv.org

导读与选稿说明

用平面基元把视频世界模型的3D记忆压缩到约5MB并保留度量深度与可导出几何,为长视频生成和场景探索提供了更可扩展的记忆表示。

导读由模型辅助整理,非独立核验。完整信息见原文。