跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

具身智能

全部主题
主题资料

AI 走进物理世界:人形机器人、具身基础模型与真实环境操作能力的进展追踪。

37 篇文章

近期重点

  1. SkeLAM提升机器人世界模型

    研究提出SkeLAM骨架引导潜在动作模型,将潜在动作分解为运动学分量和残差分量,在DROID数据集上减少末端执行器ADE 19.5%,LPIPS降低11.1%。

  2. MIT开发X-Hinges软件让物品具备感知能力

    研究团队开发X-Hinges软件,可通过3D打印将日常物品转变为具有感知能力的工具,使用不同材料解决信号干扰问题,实现多轴运动感知。

  3. 黄仁勋GTC Berlin 2026主题演讲:发布DSX POD、OpenShell Agent安全参考架构与Agile ONE SN人形机器人

    黄仁勋在GTC Berlin主题演讲中发布DSX POD——由伙伴在模块化容器内集成验证的Vera Rubin AI工厂参考设计,现场部署可从6个月缩至14天;DSX AI工厂平台称冷却用水最多减少100%、同等算力功耗降低30%。他提出Agent由模型、harness、sandbox、知识、工具五部分组成,并发布基于开源OpenShell运行时的Safe AI Agents参考架构,按次动态调整权限。此外还公布Agent Knowledge Foundation、Agile ONE SN参考人形(31自由度、明年可用),以及Hyperion平台新增沃尔沃、捷豹路虎、奔驰等车企。

全部材料

最新文章

第 1–20 条 · 共 37 条
10月23日周五
  1. MIT News · AI 与行业突破

    MIT开发X-Hinges软件:3D打印自感知物体实现三轴运动

    AI 导读MIT与中国天津大学研究人员开发X-Hinges软件,可3D打印内置传感器的自感知物体,解决传统方法中传感器信号干扰问题。该软件支持用户自定义设计,嵌入两种不同材料分别用于传感器和电路,实现物体在压缩、上下和横向三个方向的运动感知与响应。研究人员已制作出教学机器人抓取的手套、感应亮度的折纸灯和物体识别系统等设备。

    AI 选稿理由X-Hinges软件解决了3D打印交互物体中传感器信号干扰的关键问题,实现了三轴运动感知,为日常物品赋予物理智能提供了新方法。

10月22日周四
  1. Hugging Face · 每日论文

    HiSTEVE 1.0:利用人界面VLA代理实现开放世界游戏

    AI 导读研究团队提出HiSTEVE,一种分层VLA代理,通过能力感知代理框架结合长程自主与原生界面控制。该代理在Minecraft中实现85.0%的MineStudio Bench得分和37.4%的OpenHA平均成功率,能像人类玩家一样从零开始制作铁镐。

    AI 选稿理由HiSTEVE通过分层架构和特定技术解决了开放世界游戏中长程自主与原生界面控制的整合问题,在Minecraft基准测试中达到最先进性能。

  2. Hugging Face · 每日论文

    Skeleton-Grounded Latent Action Model for Robot World Models

    AI 导读研究团队提出SkeLAM模型,通过骨架监督分解潜在动作为运动学成分和残差成分,在DROID数据集上相比DreamDojo减少末端执行器平均位移误差19.5%,LPIPS降低11.1%,支持零样本人机动作迁移和预测成功率与实际执行一致。

    AI 选稿理由SkeLAM通过骨架监督分解潜在动作,提高了机器人世界模型的控制精度和动作迁移能力,在DROID基准上取得显著性能提升。

  3. Hugging Face Blog

    用Isaac Lab 3.0训练Microduck双足机器人:从仿真到真机部署

    AI 导读Pollen Robotics与Hugging Face推出平价开源双足机器人Microduck,本篇教程演示用NVIDIA Isaac Lab和Newton在GPU并行仿真中训练行走策略:61维观测、14维关节输出,16卡配置在崎岖地形下最高约125万步/秒;通过域随机化和 backlash 建模覆盖伺服摩擦与延迟,评估后自动导出ONNX,再经robotctl加载到真机,也可上传Hugging Face Hub或在Microduck Arena比拼。

10月21日周三
  1. Hugging Face Blog

    SimReady Central 上线 Hugging Face:2000 多个仿真就绪 OpenUSD 资产开放取用

    AI 导读Hugging Face 与 NVIDIA 推出 SimReady Central Library,在 Hugging Face 上免费、无门槛提供 2000 多个仿真就绪(SimReady)OpenUSD 资产,涵盖机械臂、夹爪、仓储货架和冷却设备等。资产附带碰撞几何、质量、摩擦和关节等仿真属性。厂商可按 SimReady 配置验证并提交自有 CAD 模型;开发者可用自然语言搜索资产,结合 GPT-6 Astra 等模型组装机械臂抓取或 AI 工厂布局场景。

    AI 选稿理由新增可自由取用的 2000 多个仿真就绪 OpenUSD 资产库及厂商提交通道,直接降低机器人与 AI 工厂仿真的资产准备成本,适用于物理 AI 训练环境搭建。

  2. NVIDIA Blog

    英伟达面向欧洲工业发布Factory Operations Blueprint及CUDA-X、Omniverse更新

    AI 导读英伟达在GTC Berlin展示欧洲工业客户使用CUDA-X、Omniverse、Cosmos和Nemotron推进工程与制造。Factory Operations Blueprint(FOX)已在GitHub开放早期访问,用于构建工厂管理及视觉检测、根因分析等Agent;西门子将其接入Intelligence Center X,估计可节省20%成本,并在埃尔朗根工厂将检测校准时间缩短40%。cuDSS转为正式可用,imec的S-Litho基准最高提速40倍,英飞凌3D击穿仿真提速12倍。奥迪、舍弗勒、大众透明工厂等用Omniverse与Isaac做数字孪生和机器人仿真。

    AI 选稿理由FOX蓝图开放早期访问并给出西门子20%成本节省、40%校准提速等实际企业结果,同时cuDSS正式可用,为工业Agent与仿真提供可复用起点。

  3. NVIDIA Blog

    黄仁勋GTC Berlin 2026主题演讲:发布DSX POD、OpenShell Agent安全参考架构与Agile ONE SN人形机器人

    AI 导读黄仁勋在GTC Berlin主题演讲中发布DSX POD——由伙伴在模块化容器内集成验证的Vera Rubin AI工厂参考设计,现场部署可从6个月缩至14天;DSX AI工厂平台称冷却用水最多减少100%、同等算力功耗降低30%。他提出Agent由模型、harness、sandbox、知识、工具五部分组成,并发布基于开源OpenShell运行时的Safe AI Agents参考架构,按次动态调整权限。此外还公布Agent Knowledge Foundation、Agile ONE SN参考人形(31自由度、明年可用),以及Hyperion平台新增沃尔沃、捷豹路虎、奔驰等车企。

    AI 选稿理由一次演讲新增多个可指认发布:DSX POD把现场部署缩到14天、OpenShell Agent安全参考架构、Agile ONE SN人形与Hyperion新增车企,覆盖算力设施、Agent安全与机器人三条线。

  4. Hugging Face · 每日论文

    LaLa-World:用自然语言动作扩展潜世界模型

    AI 导读论文提出语言条件潜世界模型 LaLa-World,用语言同时描述数值动作和视觉变化,让单个未来预测器在仿真、机器人轨迹及图像视频数据上联合训练。其平均 MPC 规划性能超过按域单独训练的 LWM;与基于 RAEv2 的视频生成基线相比,训练成本少 6 倍、规划快 13.9 倍。作为初始化得到的 LaLa-Policy 在 LIBERO 和 RoboCasa 上与 Cosmos Policy 竞争力相当,推理最高快 5.5 倍。

    AI 选稿理由提出语言描述动作与视觉变化的 JEPA 式潜世界模型,在多域数据上联合训练后规划性能提升,并给出相对视频生成基线的训练成本与规划速度数据。

  5. Hugging Face · 每日论文

    TARSphere:面向动态物理与社会环境中长时程具身机器人的全栈框架

    AI 导读研究团队推出TARSphere,一个面向具身机器人的全栈框架,可在物理模拟器中运行机器人策略,并使用事件驱动的有限状态机更新任务状态。该框架通过冻结的多模态大语言模型(MLLM)实现多级可执行技能,并构建了包含360个跨30个室内场景的TARSphere-Bench基准测试。评估显示通用模型在特定任务上优于专用具身模型,但任务更新和人机交互仍是挑战。

    AI 选稿理由TARSphere提供了评估具身机器人在动态环境中长时程任务的新框架,通过MLLM实现多级技能执行,并首次系统评估了8个MLLM在感知鲁棒性、适应性、人机协调等方面的表现。

  6. Hugging Face · 每日论文

    ALPS:统一物理状态、语言对齐与像素重建的视觉状态编码器

    AI 导读研究者提出视觉状态编码器 ALPS,仅用静态图像与文本,以语言、重建和空间对应目标从零预训练 ViT-B/16,再用跨视角自蒸馏精调。在15个公开编码器的统一评测中,ALPS 的 LIBERO 状态探针聚合误差在 ViT-B 模型中最低,追平体积大3.5倍的 V-JEPA 2-L;冻结特征配合原生文本塔在 LIBERO 上策略平均成功率85.5%,在 PushT、Wall、Granular 的世界模型规划中持平或超过领先编码器,预测的未来 token 可直接解码成像素。

    AI 选稿理由提出一种同时具备物理状态、语言对齐和像素重建能力的视觉预训练编码器,在15个编码器对比中刷新ViT-B级状态探针误差,并报告LIBERO策略成功率与世界模型规划结果。

  7. Hugging Face · 每日论文

    PAPAV框架:从电脑使用到机器人使用,多模态具身智能体缺什么

    AI 导读论文将多模态具身智能体定义为把多模态任务推理与物理动作结合、并依据反馈修正决策的系统,提出按功能划分的PAPAV五能力框架:感知状态、预判动作效果、规划可行路径、通过接口或身体执行、验证结果。作者比较了电脑使用智能体、多模态智能体与机器人系统,并指出物理约束——从部分可观测到结果难验证——使可预先固定的选择更少、纠错空间更小。在64个基准中,显式评估集中在“执行”,仅5个评估“预判”、3个评估“验证”。

    AI 选稿理由论文提出统一的五能力框架,并用64个基准的统计指出预判与验证能力在评测中严重缺位,为具身智能体的评估设计提供了可复用的分析框架。

  8. Hugging Face · 每日论文

    DONIC:跨操作类别与人体动作源训练的双手机器人跟踪器

    AI 导读DONIC 是首个跨操作类别与人体动作源联合训练的双手机器人跟踪器,配套 BiHOI 数据集含 1575 段序列、229 个物体,并将重建交互重定向为机器人参考。它把近端策略优化与行为克隆循环结合,将验证成功的执行回收为演示,并以物体中心逐手奖励和 Clip-Centered Advantages 处理异构参考。单一检查点未经微调在未见训练物体轨迹上成功率 86.79%,留出物体上 57.32%,比双手机器人跟踪基线分别高 77.36 和 45.73 个百分点。

    AI 选稿理由首个跨操作类别与人体动作源联合训练的双手机器人跟踪器,配套 BiHOI 数据集,给出了留出物体上 57.32% 成功率,实验范围限定于该数据集与跟踪任务。

  9. Hugging Face · 每日论文

    Foundation4D:统一多相机驾驶视频的感知与重建模型

    AI 导读研究提出前馈模型 Foundation4D,用共享骨干和分解式时空注意力,从多相机驾驶视频同时完成几何估计、3D 检测、语义占用与高斯重建;视频推理用位姿图优化细化相机轨迹并拼接目标轨迹。团队还发布含 1253 段驾驶片段的 PAI-Foundation4D 基准。按基准微调后,在 Waymo 和 nuScenes 取得最低深度 AbsRel,nuScenes 检测 mAP 最高,OpenOccupancy 占用 mIoU 最高。联合训练使检测 top-class mAP 提升 1.2 点,几何与检测共训把相机到支架平移误差降低 13.4%。预测几何与轨迹还作为无激光雷达 NuRec 的先验。

    AI 选稿理由新论文给出多任务驾驶感知与重建的统一前馈模型,并在 Waymo、nuScenes、OpenOccupancy 报告深度、检测、占用指标及联合训练增益,附 1253 段驾驶片段的标注基准。

  10. Hugging Face Blog

    NVIDIA Cosmos3-H-Dreams:用生成式仿真还原临床胆囊切除术

    AI 导读NVIDIA 发布 Cosmos3-H-Dreams,基于 160 亿参数 Cosmos3-H-Embodied-Nano,利用 CMR Surgical Versius 平台临床胆囊切除视频与机器人运动学训练。模型采用 28 维动作控制,提供四步与两步蒸馏检查点,搭配 FlashDreams 流式推理,可在单张 RTX PRO 6000 GPU 上实时运行,并支持适配自有数据与控制器。

    AI 选稿理由首次展示基于临床胆囊切除录像训练、支持实时运动学控制的生成式手术仿真器,并开放四步与两步检查点及教师微调、Self-Forcing 蒸馏流程,适用于手术机器人仿真研究。

10月20日周二
  1. Hugging Face · 每日论文

    AgenticRoboRL:为机器人规划器做后训练,9B模型成功率从18.1%升至71.0%

    AI 导读研究团队提出 AgenticRoboRL,把编码智能体的后训练思路迁移到机器人规划器。训练流程结合监督微调与多轮强化学习,并通过针对不同执行框架的适配器,将规划器交互记录与任务结果对齐,使 VLA 技能调用和代码生成等执行方式共用一套强化学习流程。在 LIBERO-PRO 上,一个 9B 参数规划器的成功率从 18.1% 提升到 71.0%,在不借助外部记忆的情况下接近 Codex(GPT-5.5)加外部记忆的 72.1%。团队将开源框架和训练好的规划器检查点。

    AI 选稿理由给出机器人规划器可后训练的具体方法,并在 LIBERO-PRO 上把 9B 模型成功率从 18.1% 提升到 71.0%,接近 Codex 加外部记忆的 72.1%,同时承诺开源框架与检查点。

  2. Hugging Face · 每日论文

    VPM 世界模型:用点轨迹预测多视角未来视频并驱动机器人

    AI 导读研究提出 Video-Point Model(VPM),以多视角视频历史和语言指令为条件,联合预测任意视角的未来视频和持续场景点的 3D 轨迹。团队扩展预训练世界模型,加入相机条件多视角处理和轨迹预测头,并构建 VPM-Data 仿真语料与 VP-WorldBench 基准。将动作作为 token 接入后,该模型在仿真与真实机器人操作中成功率均提升。

    AI 选稿理由新增可复用的世界模型方法:点轨迹监督同时改善视频保真度与 3D 运动精度,并覆盖仿真和真机操作任务。

  3. Hugging Face · 每日论文

    Slot-JEPA 将稠密表征分解为语义槽,改善潜在世界模型规划

    AI 导读论文指出现有 JEPA 的稠密 patch 表征需下游预测器隐式恢复物体结构和跨时间对应。作者提出 Slot-JEPA,将稠密表征分解为稳定语义槽与时变空间掩码,预训练一次后冻结即可复用;配套的过渡记忆预测器 TMP 用掩码存储视觉过渡,并用非平衡最优传输监督掩码与评估候选计划。在 7 个视觉理解基准上槽重建特征保持可迁移,并在 6 个平面环境和 REALM-JEPA 的 4 个机械臂规划任务上提升目标条件规划。

    AI 选稿理由提出可复用的物体结构化接口并在 7 个视觉基准、6 个平面环境和 4 个机械臂规划任务上验证迁移与规划提升,适用于关注世界模型与机器人规划的研究者。

  4. Hugging Face · 每日论文

    虚拟世界中的扩展规律:120组实验研究具身智能体持续预训练

    AI 导读研究团队用120种训练配置,系统考察持续预训练在数据量、数据多样性和模型规模三个维度上的影响:模型从0.8B到27B共四档,数据预算从50到1600小时共六档,数据混合从只用Minecraft扩展到多世界语料共五类。结果显示:数据越多,同语料世界内表现越好;多样性有助于迁移到相关世界,但对差距很大的世界提升有限;单一世界训练下,增大模型能提高数据效率,但对远处世界的泛化反而更差。作者还拟合了验证损失与这三个变量之间的经验扩展律。模型在3D世界中与Minecraft专家模型和前沿模型水平相当。作者指出,仅靠持续预训练仍不足以构建通用具身智能体。

    AI 选稿理由用120组受控实验给出数据量、多样性、模型规模对虚拟世界具身预训练的扩展律与泛化边界,结论可用于设计训练阶段。

10月19日周一
  1. Hugging Face · 每日论文

    从舰队经验中学习:机器人集体学习范式

    AI 导读研究团队提出集体经验学习(CEL)范式,通过失败引导的经验检索微调(FERT)方法,让部署中的机器人共享执行经验来改进共同策略。配合容错异步训练系统(FATS),在五个实际操作任务中,策略成功率达93.3-99.2%。96台机器人在手机包装任务中,成功率从79.2%提升至98.3%,无需额外专家纠正动作。

    AI 选稿理由解决了机器人舰队规模扩大时人工监督不足的瓶颈,使机器人能通过共享经验自主学习,大幅提升任务成功率并降低对专家干预的依赖。

  2. Hugging Face · 每日论文

    PVBench:用物体级物理测量量化视频生成物理合理性

    AI 导读研究团队发布PVBench,从7个领域、46个维度评估生成视频的物理合理性,覆盖指令与语义、行为因果、几何空间、材料与场状态、运动学及机械守恒等。基准含600条提示,其中30%涉及机械臂、人形、四足等具身智能体,并为可计算维度接入6D位姿、尺度、法线等专用视觉模型,避免只靠主观打分;同时支持文生视频与图生视频,并用人工评估校验自动指标。

    AI 选稿理由提供了一个把物理合理性拆成可测量维度并配专用视觉模型的视频生成基准,公开600条提示与校准协议,适合评估视频模型而非只看画面观感。