Hugging Face · 每日论文· 媒体 / 作者来源·精选
AffordanceWAM: 机器人操作中的感知能力联合世界-动作建模
原文标题
AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation
AI 导读
Hugging Face每日论文报道了一项研究，提出了一种名为AffordanceWAM的生成式世界动作模型，该模型通过标量感知能力和感知热图来表示物体中心的空间时间感知能力。该模型在预训练的视频扩散Transformer上构建，使用独立的参数化世界和动作专家，通过掩码联合自注意力机制联合预测未来的RGB观察、标量感知场、感知热图和连续的机器人动作。实验结果表明，该模型在RoboCasa、CALVIN ABCrightarrowD和真实世界操作任务上优于仅RGB和仅机器人数据的基线。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
AffordanceWAM通过引入感知能力作为视觉-语言-动作学习以及人机转移的有效接口，解决了在机器人操作中预测场景演变、识别可行交互以及确定如何行动的瓶颈。
导读由模型辅助整理，非独立核验。完整信息见原文。