Hugging Face · 每日论文· 媒体 / 作者来源·精选
VPM 世界模型:用点轨迹预测多视角未来视频并驱动机器人
原文标题
Learning the 4D World through Point Trajectory Forecasting
AI 导读
研究提出 Video-Point Model(VPM),以多视角视频历史和语言指令为条件,联合预测任意视角的未来视频和持续场景点的 3D 轨迹。团队扩展预训练世界模型,加入相机条件多视角处理和轨迹预测头,并构建 VPM-Data 仿真语料与 VP-WorldBench 基准。将动作作为 token 接入后,该模型在仿真与真实机器人操作中成功率均提升。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
新增可复用的世界模型方法:点轨迹监督同时改善视频保真度与 3D 运动精度,并覆盖仿真和真机操作任务。
导读由模型辅助整理,非独立核验。完整信息见原文。