EgoXperience:从人类经验学习以自我为中心的世界基础表示
研究团队提出EgoXperience全栈范式,通过数据收集、自动标注、统一建模和基准测试解决自我中心视频重建中的一致性问题。核心EgoX-Engine引擎结合几何验证的目标跟踪与SLAM世界对齐,生成EgoX-Data-6M数据集(50小时任务驱动操作与移动数据)和EgoX-Bench基准。EgoX模型在单目自我中心视频和首帧目标掩码下,通过单次前向传播实现相机、场景、手部和物体的联合度量重建,实验显示在场景估计和世界空间手-物体姿态恢复方面达到最先进性能。
