跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
中文动态

#具身智能.

正在确认更新状态可见页面每分钟只读检查
10月23日周五
  1. Hugging Face · 每日论文

    Skeleton-Grounded Latent Action Model for Robot World Models

    AI 导读研究团队提出SkeLAM模型,通过骨架监督分解潜在动作为运动学成分和残差成分,在DROID数据集上相比DreamDojo减少末端执行器平均位移误差19.5%,LPIPS降低11.1%,支持零样本人机动作迁移和预测成功率与实际执行一致。

    AI 选稿理由SkeLAM通过骨架监督分解潜在动作,提高了机器人世界模型的控制精度和动作迁移能力,在DROID基准上取得显著性能提升。

10月22日周四
  1. Hugging Face · 每日论文

    DONIC:跨操作类别与人体动作源训练的双手机器人跟踪器

    AI 导读DONIC 是首个跨操作类别与人体动作源联合训练的双手机器人跟踪器,配套 BiHOI 数据集含 1575 段序列、229 个物体,并将重建交互重定向为机器人参考。它把近端策略优化与行为克隆循环结合,将验证成功的执行回收为演示,并以物体中心逐手奖励和 Clip-Centered Advantages 处理异构参考。单一检查点未经微调在未见训练物体轨迹上成功率 86.79%,留出物体上 57.32%,比双手机器人跟踪基线分别高 77.36 和 45.73 个百分点。

    AI 选稿理由首个跨操作类别与人体动作源联合训练的双手机器人跟踪器,配套 BiHOI 数据集,给出了留出物体上 57.32% 成功率,实验范围限定于该数据集与跟踪任务。

  2. Hugging Face · 每日论文

    PAPAV框架:从电脑使用到机器人使用,多模态具身智能体缺什么

    AI 导读论文将多模态具身智能体定义为把多模态任务推理与物理动作结合、并依据反馈修正决策的系统,提出按功能划分的PAPAV五能力框架:感知状态、预判动作效果、规划可行路径、通过接口或身体执行、验证结果。作者比较了电脑使用智能体、多模态智能体与机器人系统,并指出物理约束——从部分可观测到结果难验证——使可预先固定的选择更少、纠错空间更小。在64个基准中,显式评估集中在“执行”,仅5个评估“预判”、3个评估“验证”。

    AI 选稿理由论文提出统一的五能力框架,并用64个基准的统计指出预判与验证能力在评测中严重缺位,为具身智能体的评估设计提供了可复用的分析框架。

  3. Hugging Face · 每日论文

    ALPS:统一物理状态、语言对齐与像素重建的视觉状态编码器

    AI 导读研究者提出视觉状态编码器 ALPS,仅用静态图像与文本,以语言、重建和空间对应目标从零预训练 ViT-B/16,再用跨视角自蒸馏精调。在15个公开编码器的统一评测中,ALPS 的 LIBERO 状态探针聚合误差在 ViT-B 模型中最低,追平体积大3.5倍的 V-JEPA 2-L;冻结特征配合原生文本塔在 LIBERO 上策略平均成功率85.5%,在 PushT、Wall、Granular 的世界模型规划中持平或超过领先编码器,预测的未来 token 可直接解码成像素。

    AI 选稿理由提出一种同时具备物理状态、语言对齐和像素重建能力的视觉预训练编码器,在15个编码器对比中刷新ViT-B级状态探针误差,并报告LIBERO策略成功率与世界模型规划结果。

  4. Hugging Face · 每日论文

    HiSTEVE 1.0:利用人界面VLA代理实现开放世界游戏

    AI 导读研究团队提出HiSTEVE,一种分层VLA代理,通过能力感知代理框架结合长程自主与原生界面控制。该代理在Minecraft中实现85.0%的MineStudio Bench得分和37.4%的OpenHA平均成功率,能像人类玩家一样从零开始制作铁镐。

    AI 选稿理由HiSTEVE通过分层架构和特定技术解决了开放世界游戏中长程自主与原生界面控制的整合问题,在Minecraft基准测试中达到最先进性能。

10月21日周三
  1. Hugging Face · 每日论文

    Slot-JEPA 将稠密表征分解为语义槽,改善潜在世界模型规划

    AI 导读论文指出现有 JEPA 的稠密 patch 表征需下游预测器隐式恢复物体结构和跨时间对应。作者提出 Slot-JEPA,将稠密表征分解为稳定语义槽与时变空间掩码,预训练一次后冻结即可复用;配套的过渡记忆预测器 TMP 用掩码存储视觉过渡,并用非平衡最优传输监督掩码与评估候选计划。在 7 个视觉理解基准上槽重建特征保持可迁移,并在 6 个平面环境和 REALM-JEPA 的 4 个机械臂规划任务上提升目标条件规划。

    AI 选稿理由提出可复用的物体结构化接口并在 7 个视觉基准、6 个平面环境和 4 个机械臂规划任务上验证迁移与规划提升,适用于关注世界模型与机器人规划的研究者。

  2. Hugging Face · 每日论文

    VPM 世界模型:用点轨迹预测多视角未来视频并驱动机器人

    AI 导读研究提出 Video-Point Model(VPM),以多视角视频历史和语言指令为条件,联合预测任意视角的未来视频和持续场景点的 3D 轨迹。团队扩展预训练世界模型,加入相机条件多视角处理和轨迹预测头,并构建 VPM-Data 仿真语料与 VP-WorldBench 基准。将动作作为 token 接入后,该模型在仿真与真实机器人操作中成功率均提升。

    AI 选稿理由新增可复用的世界模型方法:点轨迹监督同时改善视频保真度与 3D 运动精度,并覆盖仿真和真机操作任务。

  3. Hugging Face · 每日论文

    LaLa-World:用自然语言动作扩展潜世界模型

    AI 导读论文提出语言条件潜世界模型 LaLa-World,用语言同时描述数值动作和视觉变化,让单个未来预测器在仿真、机器人轨迹及图像视频数据上联合训练。其平均 MPC 规划性能超过按域单独训练的 LWM;与基于 RAEv2 的视频生成基线相比,训练成本少 6 倍、规划快 13.9 倍。作为初始化得到的 LaLa-Policy 在 LIBERO 和 RoboCasa 上与 Cosmos Policy 竞争力相当,推理最高快 5.5 倍。

    AI 选稿理由提出语言描述动作与视觉变化的 JEPA 式潜世界模型,在多域数据上联合训练后规划性能提升,并给出相对视频生成基线的训练成本与规划速度数据。

  4. Hugging Face · 每日论文

    TARSphere:面向动态物理与社会环境中长时程具身机器人的全栈框架

    AI 导读研究团队推出TARSphere,一个面向具身机器人的全栈框架,可在物理模拟器中运行机器人策略,并使用事件驱动的有限状态机更新任务状态。该框架通过冻结的多模态大语言模型(MLLM)实现多级可执行技能,并构建了包含360个跨30个室内场景的TARSphere-Bench基准测试。评估显示通用模型在特定任务上优于专用具身模型,但任务更新和人机交互仍是挑战。

    AI 选稿理由TARSphere提供了评估具身机器人在动态环境中长时程任务的新框架,通过MLLM实现多级技能执行,并首次系统评估了8个MLLM在感知鲁棒性、适应性、人机协调等方面的表现。

  5. Hugging Face · 每日论文

    Foundation4D:统一多相机驾驶视频的感知与重建模型

    AI 导读研究提出前馈模型 Foundation4D,用共享骨干和分解式时空注意力,从多相机驾驶视频同时完成几何估计、3D 检测、语义占用与高斯重建;视频推理用位姿图优化细化相机轨迹并拼接目标轨迹。团队还发布含 1253 段驾驶片段的 PAI-Foundation4D 基准。按基准微调后,在 Waymo 和 nuScenes 取得最低深度 AbsRel,nuScenes 检测 mAP 最高,OpenOccupancy 占用 mIoU 最高。联合训练使检测 top-class mAP 提升 1.2 点,几何与检测共训把相机到支架平移误差降低 13.4%。预测几何与轨迹还作为无激光雷达 NuRec 的先验。

    AI 选稿理由新论文给出多任务驾驶感知与重建的统一前馈模型,并在 Waymo、nuScenes、OpenOccupancy 报告深度、检测、占用指标及联合训练增益,附 1253 段驾驶片段的标注基准。

10月20日周二
  1. Hugging Face · 每日论文

    RoboValue: 细粒度模拟与真实环境基准统一评估机器人价值模型

    AI 导读研究团队推出RoboValue基准,通过共享接口评估机器人价值模型的四个互补能力维度:任务状态理解、时间进度监控、故障恢复推理和价值一致性。该基准包含15个模拟和20个真实操作任务,提供专家演示和标注轨迹。评估显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误,同一语义子任务在不同执行顺序中可能获得显著不同的价值增益。

    AI 选稿理由解决了机器人价值模型评估不全面的问题,提供首个覆盖模拟与真实环境的细粒度基准,帮助识别价值监督的具体目标。

  2. Hugging Face · 每日论文

    ScaleNav:基于互联网视频预训练的语言条件局部导航

    AI 导读浙江大学团队提出ScaleNav框架,通过三阶段训练方法利用网络第一人称视频学习目标导向的视觉动态,实现机器人根据文本指令导航至指定位置。在Short-Horizon OVON单视图变体和HabitatGS-LN基准测试中分别达到86.5%和94.9%的成功率,并在真实四足机器人上验证了泛化能力。

    AI 选稿理由解决了机器人导航训练数据稀缺和仿真到现实差距问题,通过互联网视频预训练实现了高精度的语言条件导航能力。

  3. Hugging Face · 每日论文

    从舰队经验中学习:机器人集体学习范式

    AI 导读研究团队提出集体经验学习(CEL)范式,通过失败引导的经验检索微调(FERT)方法,让部署中的机器人共享执行经验来改进共同策略。配合容错异步训练系统(FATS),在五个实际操作任务中,策略成功率达93.3-99.2%。96台机器人在手机包装任务中,成功率从79.2%提升至98.3%,无需额外专家纠正动作。

    AI 选稿理由解决了机器人舰队规模扩大时人工监督不足的瓶颈,使机器人能通过共享经验自主学习,大幅提升任务成功率并降低对专家干预的依赖。

  4. Hugging Face · 每日论文

    AgenticRoboRL:为机器人规划器做后训练,9B模型成功率从18.1%升至71.0%

    AI 导读研究团队提出 AgenticRoboRL,把编码智能体的后训练思路迁移到机器人规划器。训练流程结合监督微调与多轮强化学习,并通过针对不同执行框架的适配器,将规划器交互记录与任务结果对齐,使 VLA 技能调用和代码生成等执行方式共用一套强化学习流程。在 LIBERO-PRO 上,一个 9B 参数规划器的成功率从 18.1% 提升到 71.0%,在不借助外部记忆的情况下接近 Codex(GPT-5.5)加外部记忆的 72.1%。团队将开源框架和训练好的规划器检查点。

    AI 选稿理由给出机器人规划器可后训练的具体方法,并在 LIBERO-PRO 上把 9B 模型成功率从 18.1% 提升到 71.0%,接近 Codex 加外部记忆的 72.1%,同时承诺开源框架与检查点。

  5. Hugging Face · 每日论文

    虚拟世界中的扩展规律:120组实验研究具身智能体持续预训练

    AI 导读研究团队用120种训练配置,系统考察持续预训练在数据量、数据多样性和模型规模三个维度上的影响:模型从0.8B到27B共四档,数据预算从50到1600小时共六档,数据混合从只用Minecraft扩展到多世界语料共五类。结果显示:数据越多,同语料世界内表现越好;多样性有助于迁移到相关世界,但对差距很大的世界提升有限;单一世界训练下,增大模型能提高数据效率,但对远处世界的泛化反而更差。作者还拟合了验证损失与这三个变量之间的经验扩展律。模型在3D世界中与Minecraft专家模型和前沿模型水平相当。作者指出,仅靠持续预训练仍不足以构建通用具身智能体。

    AI 选稿理由用120组受控实验给出数据量、多样性、模型规模对虚拟世界具身预训练的扩展律与泛化边界,结论可用于设计训练阶段。

10月19日周一
  1. Hugging Face · 每日论文

    PVBench:用物体级物理测量量化视频生成物理合理性

    AI 导读研究团队发布PVBench,从7个领域、46个维度评估生成视频的物理合理性,覆盖指令与语义、行为因果、几何空间、材料与场状态、运动学及机械守恒等。基准含600条提示,其中30%涉及机械臂、人形、四足等具身智能体,并为可计算维度接入6D位姿、尺度、法线等专用视觉模型,避免只靠主观打分;同时支持文生视频与图生视频,并用人工评估校验自动指标。

    AI 选稿理由提供了一个把物理合理性拆成可测量维度并配专用视觉模型的视频生成基准,公开600条提示与校准协议,适合评估视频模型而非只看画面观感。

  2. Hugging Face · 每日论文

    ACE-Brain-0.6:用150万条可验证定位监督微调Qwen3.5-9B,七项基准四项超过GPT-6 Astra

    AI 导读研究团队构建统一数据管线,把机器人操作录像自动标注、并与多来源视觉数据一起转为可验证的定位监督,约150万样本微调Qwen3.5-9B得到ACE-Brain-0.6。在7项公开定位基准上,该模型以四项胜出、平均分75.41超过GPT-6 Astra的73.68;固定微调方案下,随训练数据覆盖更多定位场景,聚合成绩稳步提升。

    AI 选稿理由开放9B模型以可验证空间定位监督在7项公开基准均分上超过GPT-6 Astra,且给出数据扩展与得分同步提升的受控结果,适用于具身操作的空间感知环节。

  3. Hugging Face · 每日论文

    Ropedia W0 发布跨人类与机器人本体的移动操作世界模型

    AI 导读研究团队提出 Ropedia W0,首个覆盖人类与多种机器人本体的自我中心移动操作世界基础模型。其数据 Xp-Data 含 1 万小时人类数据与 3 千小时机器人数据,用统一运动学表征编码相机位姿与投影骨架。在 DreamDojo、Ψ_0、ω-HOME、Xp-Teleop、AgiBot 五个跨本体基准及留出人类视频上取得最优结果,蒸馏后支持实时分钟级推演与 VR 交互。

    AI 选稿理由首次给出跨人-机本体的移动操作世界基础模型,并构建 1.3 万小时统一标注数据和 Xp-Teleop 基准,在多基准取得最优,蒸馏后支持实时推演,为具身决策提供可复用的数据与评测基础。

10月18日周日
  1. Hugging Face · 每日论文

    BiDex-100:覆盖106个仿真任务的双手机器人灵巧操作基准

    AI 导读研究者发布BiDex-100仿真基准,含106个双手灵巧操作任务,按泛化、指令跟随、少量演示、长程与记忆五轴组织,每个任务配一个受控视觉和空间变化的域外变体以测鲁棒性。基准支持两种本体,提供8080条经成功校验的遥操作演示、共625万帧,并用统一协议评测七个近期视觉-语言-动作模型,建立能力特异性、鲁棒性与数据效率基线。

    AI 选稿理由首个面向双手灵巧操作的大规模仿真评测集,用106个任务、域外变体和八字数据集,为七个VLA模型建立按能力、鲁棒性和数据效率划分的基线。

  2. Hugging Face · 每日论文

    VLA-Rolling:复用动作尾部,减少去噪步数并提升控制成功率

    AI 导读研究发现,流匹配VLA模型在滚动时域中丢弃的未执行动作尾部仍保留可迁移的去噪进度,但最优去噪预算因样本而异。VLA-Rolling通过动作尾部继承、逐动作置信度估计和置信度引导的重去噪与预算分配三阶段,在冻结原VLA的情况下复用尾部。在π₀.₅、SmolVLA、X-VLA和MolmoAct2于LIBERO、MetaWorld、LIBERO-Plus和RoboTwin 2.0的16组模型—基准对中,动作块推理成本全部下降,最高提速1.48倍,14组成功率提升最多15.08个百分点。

    AI 选稿理由提出一种不改动原模型权重的推理框架,在16组模型—基准对中同时降低动作块推理成本并多数提升成功率,实验范围覆盖4个VLA模型和4个机器人基准。

  3. Hugging Face · 每日论文

    HumanoidPose:仅凭视频估计人形机器人全身关节姿态,关节角度误差降低18-32%

    AI 导读论文提出HumanoidPose框架,将视觉作为本体感觉,仅从视频恢复人形机器人在世界空间中的全身关节构型。该方法把预训练人体姿态特征与机器人运动学统一到一个模型中,将人体动作重定向到16种不同人形机器人本体上,完全依赖合成数据进行可扩展学习,并利用无标注在线视频自训练出2D机器人姿态检测器以提升真实场景泛化。评测显示,在三个真实人形机器人平台上,其关节角度与关节位置精度均优于基线,关节角度误差较各平台最佳基线降低18-32%,并改善了全局定位与对未见本体的泛化能力。

    AI 选稿理由提出从视频估计人形机器人全身关节构型的新框架,在三个真实人形平台的实验中将关节角度误差较最佳基线降低18-32%,并支持从在线与生成视频中提取机器人动作。

10月17日周六
  1. Hugging Face · 每日论文

    HumanSkill-4D:免训练用语言查询可动高斯化身

    AI 导读论文提出化身指称分割任务,可从语言查询中选取可动画高斯化身的区域,并按姿态或动作挑选匹配的时间区间,用于局部编辑与动作检查。HumanSkill-4D 无需训练,用共享 MLLM 与几何算子,借助语义记忆和运动记忆完成带歧义局部与相近动作的选择。作者发布三个人工标注基准,称其在部件分割及 3D、4D 指称分割上优于基线,每个化身仅需分钟级准备。

    AI 选稿理由提出可动高斯化身的新查询任务与免训练框架,并公开三个人工标注基准及对比结果;实验限于化身部件与动作区间的指称分割。

10月16日周五
  1. Hugging Face · 每日论文

    HexaShell:让 VLM Agent 以编码方式控制机器人,在 RoboDojo 上取得 39.7% 成功率

    AI 导读研究提出 HexaShell,一个极薄的机器人控制框架:VLM 编码 Agent 通过命令行驱动双臂机器人,读取三个已标定 RGB 相机,并在每次失败后读日志、定位原因、编写或修复名为 tools 的小程序,用三角测距和平面求交估算物体与夹爪的相对位置。工具仅用单 seed 的十种布局构建并冻结,再在同 seed 的十种新布局上测试,使用 Codex 与 GPT-6-Astra 中等推理强度,在 RoboDojo 全部 42 项任务上达到 39.7% 成功率与 48.0 进度分,刷新最优。瓶颈在接触而非推理:推动 92.5%、记忆任务 65.0%,而紧密插入仅 8.3%。作者开源了已演化的 tools。

    AI 选稿理由展示了编码 Agent 在真实机器人操作中的能力边界:把失败经验沉淀为可复用代码工具后能刷新 RoboDojo 榜单,但紧密插入等接触密集型任务仅 8.3%,为机器人 Agent 研究者指明了推理之外的运动控制瓶颈。

  2. Nature Machine Intelligence · 研究

    Nature机器智能:1万单元离子电子皮肤实现每秒100帧并行触觉感知

    AI 导读研究提出一种神经分层离子电子皮肤,密度达1110单元/平方厘米、规模超10000单元,模仿人类感觉系统的分层处理架构,通过信号编码、汇聚与认知建模逐层传输交互信息。基于频率的位置编码让离子电子传感器实现并行传输,抑制串扰并达到每秒100帧,后端汇聚压缩将带宽消耗降低数百倍。搭载该皮肤的人形机器人可完成分辨300微米表面特征的精细触觉交互,并对伤害性刺激做出自我保护反应。

    AI 选稿理由为大规模高时空分辨率触觉系统提供了可扩展的并行读出方案,使机器人能分辨300微米级表面细节并具备伤害感知自保护能力,可用于人形机器人的精细操作与安全交互。

  3. Hugging Face · 每日论文

    StopWatch:用显式目标定位提升物体目标导航成功率

    AI 导读论文指出,微调 VLM 作为导航策略的常见做法虽然探索能力不错,但主要失败原因是“目标定位”:无人机/机器人常没注意到目标已在视野内,也难估计距离。作者提出显式目标定位方法 StopWatch,在三个场景集合的六个基准上达到当前最优,并修正了这些基准的标注缺陷。在干净基准上,若给定真值定位,其策略几乎追平生成示范的专家,说明剩余差距在感知而非策略学习。

    AI 选稿理由把物体目标导航的主要失败归因于目标定位并给出简单有效的解法,在六个基准上刷新最优结果,同时修正基准标注,为后续导航研究提供更可靠的评测基础。

10月15日周四
  1. Hugging Face · 每日论文

    ACT3D:让视觉语言模型在3D空间中主动探索并思考

    AI 导读研究提出 ACT3D,不向视觉语言模型提供多视角图像、视频或3D表示,而是保持单张图像的原生视觉编码,将3D环境作为可交互空间,模型通过移动、转向等动作和渲染图像观察迭代推理并探索。经轨迹监督微调后,采用以最终答案正确性为主要奖励的强化学习,模型需自行学会探索策略。在六个3D基准上平均准确率53.2%,比基础Qwen模型高22个百分点,超过Gemini 3.6 Flash,且输入帧数减少50%–70%,在未见领域平均提升5.9%。

    AI 选稿理由证明仅用结果奖励的强化学习可让视觉语言模型学会何时、如何获取视觉证据,在需要大量探索的问题上相对基础模型提升16.3%,为3D空间中的具身问答与主动感知提供了可复用方法。

  2. Hugging Face · 每日论文

    GPT-6-Astra 是否已实现具身智能?12 项基准与 8 种机器人实测

    AI 导读一篇论文报告对 GPT-6-Astra 在具身任务上的评估:在涵盖桌面操作、人形、移动平台与灵巧手的 12 项基准上,允许从训练集演示进行上下文学习并大幅增加执行步数后,模型取得前所未有的成绩;同时它识别出高层 System 2 推理(GPT-6-Astra)与低层 System 1 控制器(如 π0.5)的闭环协作成本高但有效。在 8 种机器人配置的真实部署中仍存在明显差距:ICL 所需机器人演示采集昂贵,物理约束下难以用更长执行时间换取更高成功率。结论是该模型大体越过了具身能力门槛,但尚未达到实用具身智能。

    AI 选稿理由给出 GPT-6-Astra 在 12 项具身基准和 8 种真实机器人配置上的一套评估方法与实测差距,指出 ICL 演示成本、执行时间与物理约束是落地瓶颈,为具身智能研究与部署提供可复用的问题清单。

10月14日周三
  1. Hugging Face · 每日论文

    MorphAct:让机器人策略随交互环境动态变形

    AI 导读研究者提出 MorphAct,一种上下文参数化框架,能根据交互情境动态调整机器人策略参数,而非在所有任务间共享固定参数。其两个耦合生成器分别产生视觉-语言与动作模块的低秩更新,并按策略计算依赖关系耦合,无需操作标签或专家适配器目标。在 LIBERO 和 Meta-World 上,该框架在三个 VLA 主干上最高提升 16.30%,真实世界评测相对 π_{0.5} 最高提升 14%。

    AI 选稿理由它针对多任务机器人学习中共享参数被冲突更新方向拖累的瓶颈,用上下文生成的低秩参数更新解耦不同操作,并在仿真与真实机器人上验证了性能提升,可供 VLA 机器人策略研究者复用。