ScaleNav:基于互联网视频预训练的语言条件局部导航
AI 导读浙江大学团队提出ScaleNav框架,通过三阶段训练方法利用网络第一人称视频学习目标导向的视觉动态,实现机器人根据文本指令导航至指定位置。在Short-Horizon OVON单视图变体和HabitatGS-LN基准测试中分别达到86.5%和94.9%的成功率,并在真实四足机器人上验证了泛化能力。
AI 选稿理由解决了机器人导航训练数据稀缺和仿真到现实差距问题,通过互联网视频预训练实现了高精度的语言条件导航能力。
外观
AI 走进物理世界:人形机器人、具身基础模型与真实环境操作能力的进展追踪。
37 篇文章
AI 导读浙江大学团队提出ScaleNav框架,通过三阶段训练方法利用网络第一人称视频学习目标导向的视觉动态,实现机器人根据文本指令导航至指定位置。在Short-Horizon OVON单视图变体和HabitatGS-LN基准测试中分别达到86.5%和94.9%的成功率,并在真实四足机器人上验证了泛化能力。
AI 选稿理由解决了机器人导航训练数据稀缺和仿真到现实差距问题,通过互联网视频预训练实现了高精度的语言条件导航能力。
AI 导读研究团队构建统一数据管线,把机器人操作录像自动标注、并与多来源视觉数据一起转为可验证的定位监督,约150万样本微调Qwen3.5-9B得到ACE-Brain-0.6。在7项公开定位基准上,该模型以四项胜出、平均分75.41超过GPT-6 Astra的73.68;固定微调方案下,随训练数据覆盖更多定位场景,聚合成绩稳步提升。
AI 选稿理由开放9B模型以可验证空间定位监督在7项公开基准均分上超过GPT-6 Astra,且给出数据扩展与得分同步提升的受控结果,适用于具身操作的空间感知环节。
AI 导读研究团队提出 Ropedia W0,首个覆盖人类与多种机器人本体的自我中心移动操作世界基础模型。其数据 Xp-Data 含 1 万小时人类数据与 3 千小时机器人数据,用统一运动学表征编码相机位姿与投影骨架。在 DreamDojo、Ψ_0、ω-HOME、Xp-Teleop、AgiBot 五个跨本体基准及留出人类视频上取得最优结果,蒸馏后支持实时分钟级推演与 VR 交互。
AI 选稿理由首次给出跨人-机本体的移动操作世界基础模型,并构建 1.3 万小时统一标注数据和 Xp-Teleop 基准,在多基准取得最优,蒸馏后支持实时推演,为具身决策提供可复用的数据与评测基础。
AI 导读研究团队推出RoboValue基准,通过共享接口评估机器人价值模型的四个互补能力维度:任务状态理解、时间进度监控、故障恢复推理和价值一致性。该基准包含15个模拟和20个真实操作任务,提供专家演示和标注轨迹。评估显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误,同一语义子任务在不同执行顺序中可能获得显著不同的价值增益。
AI 选稿理由解决了机器人价值模型评估不全面的问题,提供首个覆盖模拟与真实环境的细粒度基准,帮助识别价值监督的具体目标。
AI 导读研究者发布BiDex-100仿真基准,含106个双手灵巧操作任务,按泛化、指令跟随、少量演示、长程与记忆五轴组织,每个任务配一个受控视觉和空间变化的域外变体以测鲁棒性。基准支持两种本体,提供8080条经成功校验的遥操作演示、共625万帧,并用统一协议评测七个近期视觉-语言-动作模型,建立能力特异性、鲁棒性与数据效率基线。
AI 选稿理由首个面向双手灵巧操作的大规模仿真评测集,用106个任务、域外变体和八字数据集,为七个VLA模型建立按能力、鲁棒性和数据效率划分的基线。
AI 导读研究发现,流匹配VLA模型在滚动时域中丢弃的未执行动作尾部仍保留可迁移的去噪进度,但最优去噪预算因样本而异。VLA-Rolling通过动作尾部继承、逐动作置信度估计和置信度引导的重去噪与预算分配三阶段,在冻结原VLA的情况下复用尾部。在π₀.₅、SmolVLA、X-VLA和MolmoAct2于LIBERO、MetaWorld、LIBERO-Plus和RoboTwin 2.0的16组模型—基准对中,动作块推理成本全部下降,最高提速1.48倍,14组成功率提升最多15.08个百分点。
AI 选稿理由提出一种不改动原模型权重的推理框架,在16组模型—基准对中同时降低动作块推理成本并多数提升成功率,实验范围覆盖4个VLA模型和4个机器人基准。
AI 导读论文提出HumanoidPose框架,将视觉作为本体感觉,仅从视频恢复人形机器人在世界空间中的全身关节构型。该方法把预训练人体姿态特征与机器人运动学统一到一个模型中,将人体动作重定向到16种不同人形机器人本体上,完全依赖合成数据进行可扩展学习,并利用无标注在线视频自训练出2D机器人姿态检测器以提升真实场景泛化。评测显示,在三个真实人形机器人平台上,其关节角度与关节位置精度均优于基线,关节角度误差较各平台最佳基线降低18-32%,并改善了全局定位与对未见本体的泛化能力。
AI 选稿理由提出从视频估计人形机器人全身关节构型的新框架,在三个真实人形平台的实验中将关节角度误差较最佳基线降低18-32%,并支持从在线与生成视频中提取机器人动作。
AI 导读论文提出化身指称分割任务,可从语言查询中选取可动画高斯化身的区域,并按姿态或动作挑选匹配的时间区间,用于局部编辑与动作检查。HumanSkill-4D 无需训练,用共享 MLLM 与几何算子,借助语义记忆和运动记忆完成带歧义局部与相近动作的选择。作者发布三个人工标注基准,称其在部件分割及 3D、4D 指称分割上优于基线,每个化身仅需分钟级准备。
AI 选稿理由提出可动高斯化身的新查询任务与免训练框架,并公开三个人工标注基准及对比结果;实验限于化身部件与动作区间的指称分割。
AI 导读研究提出 HexaShell,一个极薄的机器人控制框架:VLM 编码 Agent 通过命令行驱动双臂机器人,读取三个已标定 RGB 相机,并在每次失败后读日志、定位原因、编写或修复名为 tools 的小程序,用三角测距和平面求交估算物体与夹爪的相对位置。工具仅用单 seed 的十种布局构建并冻结,再在同 seed 的十种新布局上测试,使用 Codex 与 GPT-6-Astra 中等推理强度,在 RoboDojo 全部 42 项任务上达到 39.7% 成功率与 48.0 进度分,刷新最优。瓶颈在接触而非推理:推动 92.5%、记忆任务 65.0%,而紧密插入仅 8.3%。作者开源了已演化的 tools。
AI 选稿理由展示了编码 Agent 在真实机器人操作中的能力边界:把失败经验沉淀为可复用代码工具后能刷新 RoboDojo 榜单,但紧密插入等接触密集型任务仅 8.3%,为机器人 Agent 研究者指明了推理之外的运动控制瓶颈。
AI 导读研究提出一种神经分层离子电子皮肤,密度达1110单元/平方厘米、规模超10000单元,模仿人类感觉系统的分层处理架构,通过信号编码、汇聚与认知建模逐层传输交互信息。基于频率的位置编码让离子电子传感器实现并行传输,抑制串扰并达到每秒100帧,后端汇聚压缩将带宽消耗降低数百倍。搭载该皮肤的人形机器人可完成分辨300微米表面特征的精细触觉交互,并对伤害性刺激做出自我保护反应。
AI 选稿理由为大规模高时空分辨率触觉系统提供了可扩展的并行读出方案,使机器人能分辨300微米级表面细节并具备伤害感知自保护能力,可用于人形机器人的精细操作与安全交互。
AI 导读论文指出,微调 VLM 作为导航策略的常见做法虽然探索能力不错,但主要失败原因是“目标定位”:无人机/机器人常没注意到目标已在视野内,也难估计距离。作者提出显式目标定位方法 StopWatch,在三个场景集合的六个基准上达到当前最优,并修正了这些基准的标注缺陷。在干净基准上,若给定真值定位,其策略几乎追平生成示范的专家,说明剩余差距在感知而非策略学习。
AI 选稿理由把物体目标导航的主要失败归因于目标定位并给出简单有效的解法,在六个基准上刷新最优结果,同时修正基准标注,为后续导航研究提供更可靠的评测基础。
AI 导读研究提出 ACT3D,不向视觉语言模型提供多视角图像、视频或3D表示,而是保持单张图像的原生视觉编码,将3D环境作为可交互空间,模型通过移动、转向等动作和渲染图像观察迭代推理并探索。经轨迹监督微调后,采用以最终答案正确性为主要奖励的强化学习,模型需自行学会探索策略。在六个3D基准上平均准确率53.2%,比基础Qwen模型高22个百分点,超过Gemini 3.6 Flash,且输入帧数减少50%–70%,在未见领域平均提升5.9%。
AI 选稿理由证明仅用结果奖励的强化学习可让视觉语言模型学会何时、如何获取视觉证据,在需要大量探索的问题上相对基础模型提升16.3%,为3D空间中的具身问答与主动感知提供了可复用方法。
AI 导读一篇论文报告对 GPT-6-Astra 在具身任务上的评估:在涵盖桌面操作、人形、移动平台与灵巧手的 12 项基准上,允许从训练集演示进行上下文学习并大幅增加执行步数后,模型取得前所未有的成绩;同时它识别出高层 System 2 推理(GPT-6-Astra)与低层 System 1 控制器(如 π0.5)的闭环协作成本高但有效。在 8 种机器人配置的真实部署中仍存在明显差距:ICL 所需机器人演示采集昂贵,物理约束下难以用更长执行时间换取更高成功率。结论是该模型大体越过了具身能力门槛,但尚未达到实用具身智能。
AI 选稿理由给出 GPT-6-Astra 在 12 项具身基准和 8 种真实机器人配置上的一套评估方法与实测差距,指出 ICL 演示成本、执行时间与物理约束是落地瓶颈,为具身智能研究与部署提供可复用的问题清单。
AI 导读研究者提出 MorphAct,一种上下文参数化框架,能根据交互情境动态调整机器人策略参数,而非在所有任务间共享固定参数。其两个耦合生成器分别产生视觉-语言与动作模块的低秩更新,并按策略计算依赖关系耦合,无需操作标签或专家适配器目标。在 LIBERO 和 Meta-World 上,该框架在三个 VLA 主干上最高提升 16.30%,真实世界评测相对 π_{0.5} 最高提升 14%。
AI 选稿理由它针对多任务机器人学习中共享参数被冲突更新方向拖累的瓶颈,用上下文生成的低秩参数更新解耦不同操作,并在仿真与真实机器人上验证了性能提升,可供 VLA 机器人策略研究者复用。
AI 导读Dyna Robotics 联合创始人 Jason Ma 在 Latent Space 播客中介绍了 Dyna-2 世界行动模型及物理机器人代理 Dyna-2.1。该模型基于超100万小时人类视频预训练,结合未来视频预测与机器人动作输出,宣称在四个数量级上呈现人类数据扩展规律。实际部署中,机器人连续24小时折叠餐厅餐巾成功率达99.4%,包括推倒整摞餐巾后的恢复;在鼎泰丰每天折叠数千张餐巾。机器人可从低至45分钟的演示中学习新任务,公司自研轮式半人形硬件以支持端侧推理与模型蒸馏。
AI 选稿理由展示了世界行动模型在真实商业场景实现长时程自主作业的具体能力——45分钟演示即可学习新任务、24小时叠餐巾99.4%成功率,为通用机器人从演示走向规模化部署提供了可复用的数据扩展与端侧推理路径。
AI 导读Google DeepMind 发布 Gemini 4 Argon,定位为通用物理推理模型,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。
AI 选稿理由官方给出 Argon 在 ERQA 上的得分与四类机器人工作流示例,可据此判断物理推理模型的当前能力边界。
AI 导读AMD 以 82 亿美元收购 World Labs。World Labs 创始人李飞飞在博客中表示,公司自 2024 年成立以来构建了图像、视频与空间重建的模型训练团队,并在收购 SceniX 后推进机器人仿真能力。