Hugging Face · 每日论文· 媒体 / 作者来源·精选
LaLa-World:用自然语言动作扩展潜世界模型
原文标题
LaLa-World: Scaling Latent World Models with Natural Language Actions
AI 导读
论文提出语言条件潜世界模型 LaLa-World,用语言同时描述数值动作和视觉变化,让单个未来预测器在仿真、机器人轨迹及图像视频数据上联合训练。其平均 MPC 规划性能超过按域单独训练的 LWM;与基于 RAEv2 的视频生成基线相比,训练成本少 6 倍、规划快 13.9 倍。作为初始化得到的 LaLa-Policy 在 LIBERO 和 RoboCasa 上与 Cosmos Policy 竞争力相当,推理最高快 5.5 倍。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出语言描述动作与视觉变化的 JEPA 式潜世界模型,在多域数据上联合训练后规划性能提升,并给出相对视频生成基线的训练成本与规划速度数据。
导读由模型辅助整理,非独立核验。完整信息见原文。