跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
中文动态

#多模态.

正在确认更新状态可见页面每分钟只读检查
10月23日周五
  1. Hugging Face · 每日论文

    FilmFlow:面向3D虚拟电影摄影的智能体系统

    AI 导读研究团队提出FilmFlow框架,可将自然语言指令或参考视频转化为动态3D环境中的可执行相机轨迹。该系统由导演智能体和三个专业智能体(解释器、侦察员、评论员)组成,支持空间推理、时间协调和视觉构图。研究团队还创建了CinemaBench基准数据集,包含150个Blender场景和750个文本指导任务,FilmFlow在基准测试中表现最佳并获用户最高偏好。

    AI 选稿理由FilmFlow提供了将自然语言或视频参考转化为3D电影摄影轨迹的完整框架,并创建了专用基准数据集,适用于影视制作和虚拟内容创作领域。

  2. Nature Machine Intelligence · 研究

    EdenGNN:通用电荷密度预测的高效等变框架

    AI 导读研究提出EdenGNN模型,可同时预测电荷密度和增强占据数,实现投影增强波精度下的电子结构计算。通过基展开公式和Δ学习策略,计算速度提高一个数量级以上。基于Materials Project数据库训练的EdenGNN-Uni模型,能准确预测周期表中大多数未见材料的能带结构,展现出比通用ML哈密顿方法更强的鲁棒性。

    AI 选稿理由EdenGNN模型实现了电荷密度预测的显著加速,并首次实现了跨周期表元素的通用电荷密度预测,为大规模电子结构计算和高通量筛选提供了可扩展的从头算方法。

  3. Hugging Face · 每日论文

    F2G-Pose:几何感知基础特征提升实现RGB-D类别级物体姿态估计

    AI 导读研究团队提出F2G-Pose框架,通过单次前向预测从RGB-D观测中直接估计物体3D姿态、度量尺寸和相机坐标系下的完整形状。该方法将密集视觉基础特征提升到部分点云,使用DGCNN标记编码局部几何,并通过专家混合Transformer整合物体级结构。在SOPE和ROPE基准上达到最先进精度,姿态推理速度达28 FPS,并在HouseCat6D和HANDAL数据集上展示了强几何性能和真实物体迁移能力。

    AI 选稿理由F2G-Pose实现了实时单次前向预测的类别级物体姿态估计,在保持高精度的同时解决了现有方法在可靠性和效率之间的平衡问题。

  4. MIT News · AI 与行业突破

    MIT研究:AI如何模拟人类思维中的'混乱'

    AI 导读MIT历史本杰明·林德奎斯特教授在《过去与现在》期刊发表论文,追溯AI幻觉的起源至20世纪50年代早期工程师的研究。这些工程师认为,为使机器能像人类一样思考,必须注入一定程度的非理性。早期神经网络通过随机性模拟人类创造力,而现代AI系统已被'打磨'以减少意外输出,但创造力与可预测性之间存在必然权衡。

    AI 选稿理由揭示了AI发展历史中创造力与可预测性之间的权衡关系,以及早期工程师对AI系统设计的根本性思考。

  5. Hugging Face · 每日论文

    视频中心深度研究报告生成基准OmniDR-Bench发布

    AI 导读研究团队提出视频中心深度研究报告生成任务,给定视频和用户请求,智能体可识别研究问题、检索外部多模态证据并生成交互式报告。该任务包含50个中英文任务,覆盖19个现实子类别,共6414项评估标准。测试显示最佳系统得分为63.3分,当前智能体仍需提升内容覆盖度、跨模态因果逻辑分析能力和引用准确性。

    AI 选稿理由新增视频中心深度研究报告生成基准OmniDR-Bench,包含50个中英文任务和6414项评估标准,为视频内容研究提供标准化评估框架。

  6. Hugging Face · 每日论文

    Skeleton-Grounded Latent Action Model for Robot World Models

    AI 导读研究团队提出SkeLAM模型,通过骨架监督分解潜在动作为运动学成分和残差成分,在DROID数据集上相比DreamDojo减少末端执行器平均位移误差19.5%,LPIPS降低11.1%,支持零样本人机动作迁移和预测成功率与实际执行一致。

    AI 选稿理由SkeLAM通过骨架监督分解潜在动作,提高了机器人世界模型的控制精度和动作迁移能力,在DROID基准上取得显著性能提升。

  7. Hugging Face · 每日论文

    AgentVQA:统一基准测试评估视觉语言模型在代理场景中的表现

    AI 导读研究团队推出AgentVQA基准,从23个数据集中精选1000个真实世界代理场景,涵盖Web代理、机器人、第一人称视频、游戏和空间规划五个领域。测试显示,22个模型中最佳准确率仅为58.5%,主要错误源于无法准确定位UI元素、解释运动、跟踪状态变化和推断3D空间关系,而非任务理解或逻辑推理问题。

    AI 选稿理由AgentVQA提供了首个跨领域代理视觉理解离线基准,解决了在线评估成本高、难以扩展的问题,为模型比较提供可靠依据。

  8. Hugging Face · 每日论文

    Verus-Insight:实现AI生成视频中可解释的伪影检测

    AI 导读研究团队提出Verus-Insight框架,将伪影检测系统化为检查规划、证据验证和证据聚合三个互补能力。该模型通过人类锚定的全过程监督和渐进式能力训练,在细粒度伪影分析和AI视频检测方面表现出色,显著提升了人类感知伪影的恢复能力。同时发布Verus-Bench基准,提供细粒度人类标注的感知伪影用于评估检测性能。

    AI 选稿理由Verus-Insight通过结构化三阶段能力设计,显著提升了AI生成视频中细粒度伪影检测的准确性和可解释性,适用于视频内容真实性验证领域。

  9. Hugging Face · 每日论文

    AnyGameRenderer:跨游戏实体一致生成渲染及实体级基准测试

    AI 导读研究团队提出AnyGameRenderer,一种视频到视频的生成渲染器,可将AI编程代理生成的简单游戏(如灰色块状、几何图形)转换为高质量视觉效果,同时保持布局、相机和每个实体的位置与时间不变。该模型通过LoRA微调MiniMax-H3 ref2va(33B参数)实现,支持多种游戏类型输入,并在实体级基准测试中,时间匹配率从50.9%提升至62.9%,漏检计数变化从34.7%降至21.3%。

    AI 选稿理由AnyGameRenderer解决了AI生成游戏视觉效果差的问题,通过实体一致渲染技术提升游戏质量,适用于多种游戏类型,并提供了新的实体级评估基准。

  10. Hugging Face · 每日论文

    综述:以世界建模统一视角审视视频理解与生成

    AI 导读这篇综述把视频基础模型与世界模型放在同一框架下考察:把观测视频视为潜在时序世界的部分、有损且按时间排列的投影,并用读、写、共享、交互四类操作组织文献。作者区分观测或生成序列的时序连贯性与底层世界状态的一致性,梳理研究重点从片段级识别和感知保真度转向持久状态、可控演化、物理与因果有效性。

    AI 选稿理由用世界建模统一框架系统性梳理视频理解与生成文献,并提出读/写/共享/交互四类操作与持久状态等评测方向,为视频世界模型研究提供可复用的分类视角。

  11. Hugging Face · 每日论文

    FAPL:让多模态大模型潜变量真正控制电影级视频生成

    AI 导读研究提出 Factor-Aware Predictive Learning(FAPL),把有效利用 MLLM 潜变量作为共同前提,再用互补学习信号分别实现要素感知控制与稀疏输入下的时间推断。方法含三步:冻结 MLLM 仅靠潜变量训练 DiT;用成对视频做要素跨度替换;以文本、完整视频共享目标并冻结 DiT 反训 MLLM。实验在稀疏到视频、要素感知编辑和多镜头生成三个任务上均优于基线。

    AI 选稿理由论文给出让 DiT 真正利用 MLLM 潜变量、并同时控制角色/场景/动作/相机的三阶段训练方法,在三个电影级视频生成任务上验证有效。

  12. Hugging Face · 每日论文

    Easy-3Dfy:基于对象级几何组合的单图像3D场景构建

    AI 导读研究团队提出Easy-3Dfy工作流,将对象生成与场景布局估计解耦,通过RPF对齐器建立对象局部网格与场景点云之间的几何对应关系,无需完整场景级监督即可在Scene-Maker和3D-FUTURE200数据集上超越SAM-3Dfy的多个几何指标。

    AI 选稿理由Easy-3Dfy通过显式几何组合有效结合高质量对象生成与强空间理解能力,使工作流能独立受益于3D对象生成和基础模型的进步。

10月22日周四
  1. Hugging Face · 每日论文

    ToM2Vec:连续心智理论标记实现多智能体协调

    AI 导读研究团队提出ToM2Vec方法,通过固定数量的连续推理标记在丰富潜在空间中学习形成抽象心智理论。这些标记在训练时从合作伙伴的实际思想中获取监督,在测试时作为智能体思想和行动的条件器。在协作、竞争和混合动机环境中的测试显示,ToM2Vec在多智能体交互和协作方面持续优于基线和竞争性训练模型,且潜在推理至关重要,当推理以文本表达时性能下降。

    AI 选稿理由ToM2Vec通过连续推理标记解决了大语言模型智能体在不确定环境下形成准确心智理论的挑战,在多种环境中提升了多智能体协作能力。

  2. Hugging Face · 每日论文

    从VLA规划器到机器人代理:基于历史依赖操作的自我进化约束

    AI 导读研究者提出了一种名为SERA(自我进化机器人代理)的方法,通过一个可编辑的约束来组织高级视觉语言动作(VLA)模型,以保持任务上下文并通过执行经验改进规划。在RoboMME测试中,SERA实现了51.38%的成功率,而未进行自我进化的版本为44.38%。这表明,具有代理规划的机器人操作是一个有前景的方向。

    AI 选稿理由SERA方法在机器人操作任务中实现了显著的成功率提升,为历史依赖的机器人操作提供了新的思路。

  3. Hugging Face · 每日论文

    RealMe:从少量捕捉生成沉浸式体积视频

    AI 导读研究提出RealMe框架,通过高分辨率视频扩散模型将稀疏低分辨率捕捉增强为2K分辨率、4D一致的体积视频。该模型构建辅助数据并编码为潜在表示,采用分解时空注意力适应多视图捕捉布局,通过潜在频率损失减少生成视频与真实捕捉间的数据差距,在DNA-Rendering基准和自建RealVV数据集上实现视觉保真度和4D一致性超越现有方法。

    AI 选稿理由RealMe通过视频扩散模型和潜在频率损失解决了稀疏捕捉生成高质量体积视频的问题,适用于医疗、影视和VR等领域的内容创作。

  4. Hugging Face · 每日论文

    AW-0:整合代码规划与视频动作预测的智能体世界行动模型

    AI 导读研究团队推出AW-0框架,将代码规划、未来视频预测和机器人动作控制整合为三个耦合的生成流,在统一transformer架构中实现。通过代码专家生成参数化技能程序,视频和动作专家生成视觉状态和低级指令。在RoboTwin 2.0和双臂操作任务中,该模型在任务性能、语言遵循、语义推理和鲁棒性上超越VLA和WAM基线。

    AI 选稿理由AW-0首次将代码规划与视频动作预测整合为统一框架,实现了技能的复用和物理动态预测的结合,在机器人操作任务中展现出显著性能提升。

  5. Hugging Face · 每日论文

    SpatialBrain:冻结视觉语言主干,靠经验积累提升空间推理

    AI 导读研究者提出 SpatialBrain 框架,在保持视觉语言主干不变的前提下,积累“何时直接观察、何时重建或换参考系”的推理经验。3DFusionMemory 将当前场景观测融合为可查询的空间关系,空间技能库提供可复用工具流程,空间认知把任务条件与使用经验关联起来;完成轨迹被抽象为过程记录并在任务块间整合。在五个空间推理基准上,四个优于同一主干的直接回答,一个持平。

    AI 选稿理由它把可复用的推理经验与场景证据分开记忆,在冻结主干下于五个空间推理基准中的四个取得提升,实验范围为五项基准与组件对比。

  6. Hugging Face · 每日论文

    PAPAV框架:从电脑使用到机器人使用,多模态具身智能体缺什么

    AI 导读论文将多模态具身智能体定义为把多模态任务推理与物理动作结合、并依据反馈修正决策的系统,提出按功能划分的PAPAV五能力框架:感知状态、预判动作效果、规划可行路径、通过接口或身体执行、验证结果。作者比较了电脑使用智能体、多模态智能体与机器人系统,并指出物理约束——从部分可观测到结果难验证——使可预先固定的选择更少、纠错空间更小。在64个基准中,显式评估集中在“执行”,仅5个评估“预判”、3个评估“验证”。

    AI 选稿理由论文提出统一的五能力框架,并用64个基准的统计指出预判与验证能力在评测中严重缺位,为具身智能体的评估设计提供了可复用的分析框架。

  7. Hugging Face · 每日论文

    ALPS:统一物理状态、语言对齐与像素重建的视觉状态编码器

    AI 导读研究者提出视觉状态编码器 ALPS,仅用静态图像与文本,以语言、重建和空间对应目标从零预训练 ViT-B/16,再用跨视角自蒸馏精调。在15个公开编码器的统一评测中,ALPS 的 LIBERO 状态探针聚合误差在 ViT-B 模型中最低,追平体积大3.5倍的 V-JEPA 2-L;冻结特征配合原生文本塔在 LIBERO 上策略平均成功率85.5%,在 PushT、Wall、Granular 的世界模型规划中持平或超过领先编码器,预测的未来 token 可直接解码成像素。

    AI 选稿理由提出一种同时具备物理状态、语言对齐和像素重建能力的视觉预训练编码器,在15个编码器对比中刷新ViT-B级状态探针误差,并报告LIBERO策略成功率与世界模型规划结果。

  8. Hugging Face · 每日论文

    RubatoCodec:带 utterance 级事件预算的自适应语音编解码与流式解码

    AI 导读研究提出 RubatoCodec,基于 X-Codec-2 实现可变帧率语音编解码,并用 Adaptive Firing 依据特征与波形频谱把语音切成时长可变的事件,每个事件由离散码加显式时长表示,可逐个事件流式解码。低事件率下重建保真度和可懂度优于定帧率;多语种模型在英、日、汉语上重建质量有竞争力,英日基准可懂度最佳;配套 TTS 的 WER 更低、UTMOS/UTMOSv2 更高,且无需生成时速率约束即可学会事件预算。代码与权重已开源。

    AI 选稿理由给出确切 utterance 级事件预算的可变帧率语音编解码与流式解码,并配套 TTS 实验验证,适用范围为语音重建与流式语音合成研究。

  9. Hugging Face · 每日论文

    FCP 辅助目标让自回归视频生成更好建模场景演变

    AI 导读论文指出,在教师强制下,自回归视频扩散模型容易依赖局部视觉连续性来去噪当前片段,未必真正学会场景如何演变。作者提出 Future Chunk Prediction(FCP):在教师强制去噪之外,同时预测与当前相隔一段时间、且看不到中间视觉上下文的片段。该方法直接从训练视频取监督,不需要额外的预训练视觉编码器,也不改变自回归推理。结果显示,在总体训练计算量更低的情况下,其物理合理性优于标准教师强制训练;可视化还显示,表示空间更有结构,作者认为这可能有助于构建自回归世界模型。

    AI 选稿理由论文给出可复用的训练目标,删除视觉演变捷径,在不增加推理改动、降低训练算力下提升物理合理性,属视频世界模型研究进展。

  10. Hugging Face · 每日论文

    Dual Exam:多模态代理和世界模型的控制评估

    AI 导读研究人员提出了Dual Exam,一个用于评估多模态代理和世界模型相互作用的工具。该工具在物理、数字、社会和科学领域测试代理和世界模型,比较了多种配置和案例。GPT 6 Astra和GPT-Image-2在各自的测试中表现突出,但结果揭示了任务性能的不均衡和任务相关状态的保留问题。

    AI 选稿理由Dual Exam为多模态代理和世界模型的评估提供了新的方法,有助于理解它们之间的相互作用。

  11. Hugging Face · 每日论文

    HiSTEVE 1.0:利用人界面VLA代理实现开放世界游戏

    AI 导读研究团队提出HiSTEVE,一种分层VLA代理,通过能力感知代理框架结合长程自主与原生界面控制。该代理在Minecraft中实现85.0%的MineStudio Bench得分和37.4%的OpenHA平均成功率,能像人类玩家一样从零开始制作铁镐。

    AI 选稿理由HiSTEVE通过分层架构和特定技术解决了开放世界游戏中长程自主与原生界面控制的整合问题,在Minecraft基准测试中达到最先进性能。

  12. Hugging Face · 每日论文

    视觉-语言-动作模型机制性研究:特征不平等与脆弱性解析

    AI 导读研究团队开发了解释性管道,发现视觉-语言-动作(VLA)模型将任务指令编码为绝对坐标程序,导致对物体位置变化的脆弱性。通过激活注入实验,模型在99.6%的案例中执行源任务的轨迹,即使面对不同场景。研究还发现不同架构对指令的权重分配差异,以及目标选择与动作生成的分离机制。团队发布了Action Atlas交互平台,包含520+训练SAEs、79个识别概念及UR10e实验结果。

    AI 选稿理由提供了视觉-语言-动作模型的内部工作机制解释,揭示了其脆弱性的根本原因,并开源了可复用的分析工具与数据集。

  13. Hugging Face · 每日论文

    ConfigWM:用任务描述配置世界模型感知,噪声环境下规划成功率领先22.3%

    AI 导读现有世界模型编码器不随任务调整,容易被与任务无关的视觉细节干扰。ConfigWM 以自然语言任务描述作为配置信号,把视觉嵌入映射到任务专属状态空间,只保留相关信息,再在其中学习动作条件动态用于规划。在干扰逐步增强的环境中,ConfigWM 的规划成功率保持相对稳定,平均超过最强对比方法 22.3%;物理量探测的 Pearson r 提升 0.365,干扰到干净检索提升 75.5%。

    AI 选稿理由提出用语言任务描述驱动状态空间配置的世界模型方法,在噪声递增环境中给出规划成功率、物理量探测与检索三类量化结果,属于有实验范围的能力进展。

  14. Google Research

    Google Research用AI解读盲扫超声,孕龄评估误差4.18天与专家相当

    AI 导读Google Research在《JAMA Network Open》发表前瞻性多中心研究:让未受过超声培训的操作者用低成本便携探头按标准路径盲扫腹部,由AI估算孕龄。385名16–36周孕妇中,AI平均绝对误差4.18天,专家超声测量为4.48天;芝加哥适配后为4.10天,内罗毕零本地优化为4.27天。仅用芝加哥120人约6%训练集的数据微调即适配新探头,并将预测范围扩至36周以上。

    AI 选稿理由新增前瞻性多中心临床验证:AI盲扫孕龄评估在低资源与高资源场景均达到与专家操作非劣的4.18天平均误差,且仅需约6%数据微调即可换用新硬件。

10月21日周三
  1. Hugging Face · 每日论文

    HRoPE:用平面单应性为多视角Transformer注入表面级位置编码

    AI 导读论文提出HRoPE,把每个patch的局部几何表示为倾斜3D平面,并将token级、由平面诱导的单应性作为相对变换注入注意力,从而在视角间校正透视畸变、对齐patch特征。该方法无需真值几何,平面参数可在视角合成目标下端到端预测,也可由基础模型导出。在RealEstate10K、CO3Dv2和DL3DV上的新视角合成实验中,最佳变体持续优于所评估的几何位置编码。

    AI 选稿理由提出表面感知位置编码,把patch平面单应性注入注意力,在三个新视角合成数据集上验证优于现有几何位置编码,且不需要真值几何。

  2. Hugging Face · 每日论文

    OverSeer:用固定辅助视角提升多智能体世界模型的一致性

    AI 导读论文提出多智能体世界模型OverSeer,在智能体第一视角之外加入空间固定的辅助摄像机视角,作为世界中心表征的代理,使视角变化直接对应世界状态的局部变化。辅助视角因冗余半静态特性可用delta-VAE仅编码相对静态参考图的变化来压缩token。Minecraft与Doom实验显示世界与智能体一致性提升,真实多相机采集的定性结果表明方法不限于游戏引擎,压缩分析显示计算开销显著降低。

    AI 选稿理由提出固定辅助视角加delta-VAE压缩的多智能体世界模型方法,在Minecraft、Doom及真实多相机数据上验证一致性提升与计算开销降低。

  3. Hugging Face · 每日论文

    JCA:为任意骨骼绑定同时生成3D动作与视频

    AI 导读NVIDIA研究团队提出Joints, Camera, Action!(JCA)模型,可为任意给定的骨骼绑定(rig)同时生成视频与可回放的3D动作,并估计相机将动作配准到场景。方法将3D动作保留在独立模型中,通过少量交叉注意力层连接预训练视频模型;模型还学习在视频帧中定位每个关节以恢复相机。借助生成式视频编辑器布置动画3D资产,团队整理出近20万对训练数据(含人与机器人视频)。评测显示该模型从文本驱动多样骨骼比视频优先管线更忠实,动作会响应周围场景,且支持视频转骨骼动作、骨骼动作转视频及基于关键帧的3D动作控制。

    AI 选稿理由提出首个支持任意骨骼绑定的视频与3D动作协同生成方法,通过分离式架构与关节定位恢复相机,用近20万训练对实现可回放、场景响应的3D动作生成及双向转换。

  4. Hugging Face · 每日论文

    研究:通用视觉语言模型可用单选决策做多模态重排序

    AI 导读论文提出把多模态重排序视为“系统一”式单选决策:让通用 VLM 对第一阶段检索的前 16 个候选做一次单选,排序依据是单次前向计算中候选项标签的概率。在 MMEB-V2 图像检索上,该做法比逐候选是/否提问高 5.4–7.3 hit@1。零样本 Qwen3.8-27B 在三个基准上超过监督式 Qwen3-VL-Reranker-2B,并在每个基准上距 Reranker-8B 不超过 1.6 分;其延迟为后者的 1.1–1.5 倍。作者也指出,模型规模和代际差异会混淆对比结果。

    AI 选稿理由给出可复用的多模态重排序方法及 MMEB-V2 等基准的具体增益与延迟数据,并说明模型规模与代际差异会影响对比结论。

  5. Hugging Face · 每日论文

    Matrix-Game 4.0:用视频模型实时生成可玩游戏世界,RTX5090上480p 60FPS

    AI 导读Matrix-Game 4.0将游戏执行与画面生成分离:轻量游戏引擎维护世界状态并执行交互规则,多模态编码Agent把玩家想法转为游戏代码和动态场景描述,基于自回归视频模型的渲染器再把低多边形代理画面转为高保真视觉。单张RTX5090实现480p、60FPS,按键到显示延迟112ms;单步生成稳态83FPS,峰值显存18.2GiB,RTX5080和RTX5070Ti上分别为67FPS和58FPS。代码、模型权重和低多边形游戏资产已开源。

    AI 选稿理由给出可玩游戏世界的执行—渲染分离架构,并在单卡上实测延迟、帧率与显存,同时开源代码、权重和资产,为实时视频生成与游戏交互结合提供可复现基线。

  6. Hugging Face · 每日论文

    EvaOmni基准:392段视频评估视听推理的证据链

    AI 导读研究团队发布EvaOmni视听推理基准,含392段视频、1027个人工标注问答对,覆盖检索定位、基础理解、复杂推理三层共15项能力。评测要求模型同时返回答案与支撑证据区间,并用C.G.衡量证据覆盖、B.G.惩罚单模态时间定位偏差。在24个Omni模型上,Gemini3.7-Flash综合准确率最高(79.4%),但Level 3的B.G.仅12.3%。

    AI 选稿理由新基准把“答案+音视频证据区间”纳入评分,并给出24个Omni模型的分层结果,可复用于视听推理评测。

  7. Hugging Face · 每日论文

    S-Agent 2.0:用通用编码代理做空间推理,MMSI-Bench 达 66.5

    AI 导读研究提出 S-Agent 2.0,为现成通用编码代理配备命令行感知工具包,并通过持久场景记忆让模型把工具读到的几何数据转成空间结论。开源底座 Qwen3.8-27B 接入后,MMSI-Bench 和 ReVSI 分别比无工具版本提升 13.9 和 20.5 分,达到 66.5 和 82.3,超过同底座的 SpatialClaw;接 Gemini-3.8-Flash 时同样领先。该方案可运行在 Codex、Claude Code 等代理框架上。

    AI 选稿理由给出空间推理代理的工具接口与记忆设计,并在两个基准上按开源/闭源底座分别报告相对无工具与 SpatialClaw 的具体分数变化,属于可复用的研究方法进展。

  8. Hugging Face · 每日论文

    VPM 世界模型:用点轨迹预测多视角未来视频并驱动机器人

    AI 导读研究提出 Video-Point Model(VPM),以多视角视频历史和语言指令为条件,联合预测任意视角的未来视频和持续场景点的 3D 轨迹。团队扩展预训练世界模型,加入相机条件多视角处理和轨迹预测头,并构建 VPM-Data 仿真语料与 VP-WorldBench 基准。将动作作为 token 接入后,该模型在仿真与真实机器人操作中成功率均提升。

    AI 选稿理由新增可复用的世界模型方法:点轨迹监督同时改善视频保真度与 3D 运动精度,并覆盖仿真和真机操作任务。

  9. Hugging Face · 每日论文

    MMEnterprise-Bench:用1613道题考察企业Agent处理动态多模态记录

    AI 导读研究者提出MMEnterprise-Bench基准,包含1,613个基于模拟协作项目动态多模态记录的问题,分为证据推理、冲突消解、不可回答三类。评测10个开源与专有多模态大模型发现,最强模型在跨源或时间冲突、证据跨多图时仍表现不佳;提高检索预算或换更大检索器只提升证据召回,未稳定提升答案准确率。

    AI 选稿理由为企业多模态Agent提供可复用的评测基准与实证发现:检索召回提升未稳定转化为答案准确率,适用于评估动态记录问答系统。

  10. Hugging Face · 每日论文

    SolarRenderer:用两个轻量LoRA让冻结的MiniMax-H3四步生成结构化参考视频

    AI 导读研究提出结构条件视频渲染器SolarRenderer,基于冻结的33B MiniMax-H3主干加两个轻量LoRA,将结构视频直接送入原生参考通道,仅用纯文本描述,无需类型标识。借助四步LoRA与结构引导分布匹配,渲染比50步采样快12.3倍;块因果变体支持实时生成768p视频。模型在13.6万片段对齐语料上训练,在分布内测试集和16种结构表示的泛化基准上均达SOTA,并泛化到姿态骨架、手绘图、点云等11种未见表示。

    AI 选稿理由新增结果:SolarRenderer以冻结MiniMax-H3 33B加两个轻量LoRA实现四步结构条件渲染,速度提升12.3倍并在16种结构表示基准上验证,适用于游戏引擎与编码代理生成视频的研究场景。

  11. Hugging Face · 每日论文

    LaLa-World:用自然语言动作扩展潜世界模型

    AI 导读论文提出语言条件潜世界模型 LaLa-World,用语言同时描述数值动作和视觉变化,让单个未来预测器在仿真、机器人轨迹及图像视频数据上联合训练。其平均 MPC 规划性能超过按域单独训练的 LWM;与基于 RAEv2 的视频生成基线相比,训练成本少 6 倍、规划快 13.9 倍。作为初始化得到的 LaLa-Policy 在 LIBERO 和 RoboCasa 上与 Cosmos Policy 竞争力相当,推理最高快 5.5 倍。

    AI 选稿理由提出语言描述动作与视觉变化的 JEPA 式潜世界模型,在多域数据上联合训练后规划性能提升,并给出相对视频生成基线的训练成本与规划速度数据。

  12. Hugging Face · 每日论文

    TARSphere:面向动态物理与社会环境中长时程具身机器人的全栈框架

    AI 导读研究团队推出TARSphere,一个面向具身机器人的全栈框架,可在物理模拟器中运行机器人策略,并使用事件驱动的有限状态机更新任务状态。该框架通过冻结的多模态大语言模型(MLLM)实现多级可执行技能,并构建了包含360个跨30个室内场景的TARSphere-Bench基准测试。评估显示通用模型在特定任务上优于专用具身模型,但任务更新和人机交互仍是挑战。

    AI 选稿理由TARSphere提供了评估具身机器人在动态环境中长时程任务的新框架,通过MLLM实现多级技能执行,并首次系统评估了8个MLLM在感知鲁棒性、适应性、人机协调等方面的表现。

  13. Hugging Face · 每日论文

    SplatLab:3D高斯溅射研究的自主科学发现系统

    AI 导读SplatLab是一个针对3D高斯溅射(3DGS)的自主研究系统,能够复现已发表论文、提出扩展方案、训练模型并撰写论文。该系统在Mip-NeRF 360和LLFF数据集上,其生成的论文在PSNR指标上比复现目标高出+0.18至+3.78dB,其中在天文摄影星云渲染上提升3.78dB,且此前无3DGS方法能处理此类任务。研究周期从数月研究生工作缩短至数天自主计算完成。

    AI 选稿理由SplatLab实现了3DGS研究全流程自动化,在PSNR指标上显著超越复现目标,将研究周期从数月缩短至数天,并首次实现天文摄影星云渲染的3DGS方法。

  14. Hugging Face · 每日论文

    FRED框架提升机器人未来视频表示质量

    AI 导读研究团队提出FRED框架,通过自蒸馏方法改进World Action Models(WAMs)中未来视频表示的质量。该框架利用真实未来观测作为目标,从噪声中预测未来表示,并结合历史观测提供时间上下文。在多样化实际操作场景中,FRED在长时程和跨域任务上显著优于现有WAMs,将人类到机器人的技能转移成功率从19.4%提升至50.0%。

    AI 选稿理由FRED框架通过自蒸馏方法显著提升了机器人未来视频表示质量,在长时程和跨域任务上实现零样本泛化,并大幅提高人类到机器人的技能转移成功率。