AffordanceWAM: 机器人操作中的感知能力联合世界-动作建模
Hugging Face每日论文报道了一项研究,提出了一种名为AffordanceWAM的生成式世界动作模型,该模型通过标量感知能力和感知热图来表示物体中心的空间时间感知能力。该模型在预训练的视频扩散Transformer上构建,使用独立的参数化世界和动作专家,通过掩码联合自注意力机制联合预测未来的RGB观察、标量感知场、感知热图和连续的机器人动作。实验结果表明,该模型在RoboCasa、CALVIN ABCrightarrowD和真实世界操作任务上优于仅RGB和仅机器人数据的基线。
