跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
中文动态

#多模态.

正在确认更新状态可见页面每分钟只读检查
10月18日周日
  1. Hugging Face · 每日论文

    CoworkEnv:为长期协作AI合成训练环境

    AI 导读研究团队提出CoworkEnv框架,用于合成AI协作伙伴的训练环境。该框架通过工作流要求指导任务构建,并使用程序验证和反馈修复检查生成规范和评分行为。研究团队使用这些资源训练了紧凑的PocketWorker模型,在Qwen3-VL-8B-Instruct模型上,监督微调(SFT)使Claw-Eval平均分从46.6提升至64.1,多回合任务得分提高31.9分。

    AI 选稿理由CoworkEnv解决了AI协作伙伴训练环境构建的复杂性问题,为多轮对话、工具协调和工作流约束下的AI训练提供了可复用的框架和方法。

  2. Hugging Face · 每日论文

    MT Forcing:基于自回归扩散的多轮图像编辑稳定性与一致性研究

    AI 导读多轮图像编辑旨在根据一系列指令修改图像,以实现更有效的交互式视觉内容创作。然而,现有方法在经过几次编辑后往往会出现明显的漂移,表现为视觉质量不稳定和图像内容不一致。为了解决这些问题,研究人员提出了MT Forcing,这是一种基于自回归扩散和统一多模态模型(UMMs)的新型多轮图像编辑训练范式。具体来说,他们提出了单轮分布匹配蒸馏(Single-Turn DMD),通过一个在单轮中对源图像进行累积编辑的教师来监督学生的自滚动,提供视觉质量指导,避免递归错误累积。此外,他们还引入了教师强制指导,在预热期间监督参考轨迹上的历史依赖转换,并在蒸馏期间作为正则化器,鼓励跨轮内容一致性。广泛的实验表明,这种方法显著提高了UMMs的多轮图像编辑能力,实现了更稳定的视觉质量和更强的跨轮一致性。

    AI 选稿理由MT Forcing通过引入新的训练范式和指导策略,解决了多轮图像编辑中的视觉质量不稳定和内容不一致的问题,提高了UMMs的多轮图像编辑能力。

  3. Hugging Face · 每日论文

    Think Visually Across Space and Time: Grounded Reasoning for Video Segmentation

    AI 导读研究提出Temporal Chain of Video Primitives (TCoVP),一种时空视频推理分割方法,将查询相关观察组织成时间顺序推理链,将实体引用与时间支持和时间戳空间证据关联,用于视频掩码预测。通过TCoVP-SFT-15k和TCoVP-RL-13k数据集进行监督微调和链对齐强化学习,在五个VRS基准测试和三个模型骨干上展示强大性能,所有模型和代码将公开。

    AI 选稿理由解决了视频推理分割中语言推理与视觉证据之间的差距,通过时空推理链提升目标识别和掩码预测准确性

  4. Hugging Face · 每日论文

    BiDex-100:覆盖106个仿真任务的双手机器人灵巧操作基准

    AI 导读研究者发布BiDex-100仿真基准,含106个双手灵巧操作任务,按泛化、指令跟随、少量演示、长程与记忆五轴组织,每个任务配一个受控视觉和空间变化的域外变体以测鲁棒性。基准支持两种本体,提供8080条经成功校验的遥操作演示、共625万帧,并用统一协议评测七个近期视觉-语言-动作模型,建立能力特异性、鲁棒性与数据效率基线。

    AI 选稿理由首个面向双手灵巧操作的大规模仿真评测集,用106个任务、域外变体和八字数据集,为七个VLA模型建立按能力、鲁棒性和数据效率划分的基线。

  5. Hugging Face · 每日论文

    Painting Change Map:用时空变化图引导AI生成绘画过程

    AI 导读研究提出 Painting Change Map,用 RGB 编码记录1000步内的归一化结构变化,同时控制“在哪画”和“何时画”,可引导正向绘制与反向“取消绘制”。基准测试中优于现有控制基线,与先进绘画方法持平或更好;在 oracle 条件下显著超过所有基线。代码已开源。

    AI 选稿理由提出可精细控制绘画视频时空演变的新条件机制,并在标准基准上给出相对现有控制方法的量化比较,适用于数字艺术生成研究。

  6. Hugging Face · 每日论文

    HumanoidPose:仅凭视频估计人形机器人全身关节姿态,关节角度误差降低18-32%

    AI 导读论文提出HumanoidPose框架,将视觉作为本体感觉,仅从视频恢复人形机器人在世界空间中的全身关节构型。该方法把预训练人体姿态特征与机器人运动学统一到一个模型中,将人体动作重定向到16种不同人形机器人本体上,完全依赖合成数据进行可扩展学习,并利用无标注在线视频自训练出2D机器人姿态检测器以提升真实场景泛化。评测显示,在三个真实人形机器人平台上,其关节角度与关节位置精度均优于基线,关节角度误差较各平台最佳基线降低18-32%,并改善了全局定位与对未见本体的泛化能力。

    AI 选稿理由提出从视频估计人形机器人全身关节构型的新框架,在三个真实人形平台的实验中将关节角度误差较最佳基线降低18-32%,并支持从在线与生成视频中提取机器人动作。

  7. Hugging Face · 每日论文

    FineSplat: 细粒度图像块与局部分组提升3D高斯飞溅重建质量

    AI 导读研究团队提出FineSplat框架,通过细粒度图像块和双分组策略解决前馈3D高斯飞溅在精细几何和外观恢复上的难题。该方法结合视图分组和3D空间分组,利用重建误差作为反馈信号,在保持高效紧凑的同时显著提升了重建质量,在相同或更少高斯数量预算下达到最先进水平。

    AI 选稿理由解决了前馈3D重建中精细细节恢复的瓶颈,为实时高质量场景重建提供了新方案,适用于VR/AR和数字孪生等领域。

10月17日周六
  1. Latent Space

    AINews:Modal 达 10 亿美元 ARR、完成 160 亿美元估值 D 轮;Gemini 4 Argon 等模型密集发布

    AI 导读本期 AINews 三条主线:一,Modal 跨过 10 亿美元年化收入并完成 7.5 亿美元 D 轮、估值 157.5 亿美元,用量一年增长超 15 倍;二,Google 大范围推送 Gemini 4 Argon,覆盖编码、金融、法律、网络安全与科研,并公布酶设计、机器人演示等结果,Neel Nanda 指出其可监控性显著低于以往模型;三,Meta Muse Wonder、Grok Voice 3.0、Ultramarine 1 Flash、DeepSeek V4.1 Flash 等模型与多项基准、Agent 安全事件同期落地。

    AI 选稿理由Gemini 4 Argon 是本期最关键的模型发布,公开了编码、科研与机器人能力数据,同时被评估为可监控性大幅下降、在简单破坏任务中约半数能绕过思维链+行为监控,直接影响依赖模型行为审计的开发者和安全团队。

  2. Latent Space

    AINews:Meta 开源 Muse Spark Open,Agent 分析挑战多义性假说

    AI 导读本期导读三条主线:Meta 发布 816B 总参/42B 激活的 MoE 开放权重模型 Muse Spark Open,1M 上下文并支持文本图像视频音频,AA 智能指数 39 居美国开源首位但落后 GLM-5.3;Goodfire 的 Nick Cammarata 提出“神经网络本来就很干净”,认为许多经典多义性案例可被更强的 agent 分析拆解;此外还有 NVIDIA Nemotron 3.5 Super VL、微软 MAI-Base-2、Gemini 4 Argon 评测,以及 SPACE 沙箱、TPUv7 推理基准等系统与安全研究。

    AI 选稿理由Muse Spark Open 是目前美国最强的开源权重模型,1M 上下文加多模态输入可用于编码与长程 agent,权重可在 4×Blackwell Ultra 或双 Mac Studio 上本地部署;Goodfire 的“已干净”论则给可解释性研究提供了可复用的 agent 分析路径。

  3. Hugging Face · 每日论文

    LayerEditor:通过组合编辑先验蒸馏实现图像编辑为可重用层

    AI 导读研究团队提出LayerEditor框架,将指令引导的图像编辑与可重用RGBA层的可控生成相结合。该框架通过上下文RGB-Alpha令牌建模在同一令牌序列中表示编辑画布和有序RGB-Alpha层,并引入组合编辑先验蒸馏方法,保持预训练模型的编辑能力。研究团队还构建了LayerEditor-100K数据集和专用基准测试,实验证明LayerEditor在保持强编辑保真度的同时能生成准确的RGBA层,支持灵活的层级操作和多层分解。

    AI 选稿理由LayerEditor首次实现了图像编辑与可重用RGBA层的统一框架,通过组合编辑先验蒸馏保持编辑能力,并提供了大规模数据集和专用基准测试。

  4. Hugging Face · 每日论文

    HumanSkill-4D:免训练用语言查询可动高斯化身

    AI 导读论文提出化身指称分割任务,可从语言查询中选取可动画高斯化身的区域,并按姿态或动作挑选匹配的时间区间,用于局部编辑与动作检查。HumanSkill-4D 无需训练,用共享 MLLM 与几何算子,借助语义记忆和运动记忆完成带歧义局部与相近动作的选择。作者发布三个人工标注基准,称其在部件分割及 3D、4D 指称分割上优于基线,每个化身仅需分钟级准备。

    AI 选稿理由提出可动高斯化身的新查询任务与免训练框架,并公开三个人工标注基准及对比结果;实验限于化身部件与动作区间的指称分割。

  5. Hugging Face · 每日论文

    Muse Glimmer 30B:面向消费级硬件的端侧Agent模型

    AI 导读Hugging Face每日论文介绍Muse Glimmer,一个带感知编码器的开源300亿参数因果语言模型,面向消费级硬件上的自主Agent任务。模型将多步推理、可靠工具调用与失败恢复整合在单一模型中,本地运行无需云端基础设施;接受文本与图像输入、输出文本,使用超百种语言数据训练,量化至约4-bit精度以支持单GPU高效推理。作者称其在同量级模型(Gemma4-31B、Qwen3.6-27B)的工具使用、多步规划与Agent任务完成基准上达到SOTA,以Apache 2.0许可发布。

    AI 选稿理由发布了一个Apache 2.0开源的30B端侧Agent模型,将多步推理、工具调用与失败恢复整合进单一模型,在消费级单GPU上以约4-bit量化本地运行,并在同量级Agent基准上报告超越Gemma4-31B与Qwen3.6-27B的结果。

  6. Hugging Face · 每日论文

    UniAVC:通过渐进训练和非对称调度实现统一音视频创作

    AI 导读UniAVC解决了现有方法依赖稀缺的成对数据集问题,采用分模态训练和独立噪声调度策略,实现了文本条件下的联合生成、双向跨模态生成和指令引导编辑。该模型支持意图感知编辑和推理后自我完善,无需任务特定适配器即可完成多种创作任务。

    AI 选稿理由UniAVC突破了音视频创作中成对数据稀缺的限制,通过创新训练策略实现了高效跨模态耦合,为多媒体内容创作提供了新范式。

  7. Hugging Face · 每日论文

    Design Anything:基于意图-执行图的设计代理框架

    AI 导读研究团队提出Design Anything框架,通过意图-执行图保存设计意图,将交付物与工作流步骤绑定。在19个设计领域的228项任务测试中,使用DeepSeek V4.1 Flash High和GPT-5.6 Sol High模型时,分别满足85.0%和92.5%的简报事实约束,超越同模型基线15.4%和14.4%。在24个工件的大规模任务中,提升幅度达25.1%和23.0%。专业设计师在盲测中更偏好该框架的完整交付物集。

    AI 选稿理由Design Anything框架通过意图-执行图显著提升设计代理在多领域、大规模项目中的约束满足率,适用于需要长期保持设计意图一致性的复杂设计任务。

10月16日周五
  1. Hugging Face · 每日论文

    MOSS-Image 技术报告:5B 开源文生图模型,长文本渲染覆盖率达 96.3%

    AI 导读MOSS-Image 是一个开源生成系统,从零预训练 5B 单流扩散 Transformer(DiT),支持中英双语长文本渲染与精确布局控制;同时提出意图感知的 Agent 式提示增强模块,将用户请求转为内容与布局规格。作者还发布 LongLongTextBench 与 RealLayoutArena 两个评测基准:MOSS-Image 在 LLTB 上开源模型第一,平均文本覆盖率 96.3%;在 RLA 端到端系统对比中排第二,其骨干模型在使用统一增强提示的生成器对比中排第一。团队表示将公开模型、训练配方与评测框架。

    AI 选稿理由开源权重文生图模型在密集文字和复杂版式上长期落后于闭源系统,该工作给出了可复现的 5B 预训练配方和两个长文本/布局评测基准,96.3% 的文本覆盖率让海报、图表类图文生成更接近可直接使用。

  2. Hugging Face · 每日论文

    Harnessing Textual Refusal Directions for Multimodal Safety

    AI 导读研究提出Modality-Agnostic Refusal Steering (MARS)方法,通过从LLM骨干网络提取文本拒绝方向实现多模态安全,无需收集多模态安全数据。MARS通过激活中心化、自适应调整引导强度和选择最佳干预层,在五种SOTA多模态大模型上提升了安全性,同时保持实用性。

    AI 选稿理由解决了多模态大模型安全数据收集困难的问题,提供了一种无需多模态安全数据的轻量级安全增强方法。

  3. Hugging Face · 每日论文

    HexaShell:让 VLM Agent 以编码方式控制机器人,在 RoboDojo 上取得 39.7% 成功率

    AI 导读研究提出 HexaShell,一个极薄的机器人控制框架:VLM 编码 Agent 通过命令行驱动双臂机器人,读取三个已标定 RGB 相机,并在每次失败后读日志、定位原因、编写或修复名为 tools 的小程序,用三角测距和平面求交估算物体与夹爪的相对位置。工具仅用单 seed 的十种布局构建并冻结,再在同 seed 的十种新布局上测试,使用 Codex 与 GPT-6-Astra 中等推理强度,在 RoboDojo 全部 42 项任务上达到 39.7% 成功率与 48.0 进度分,刷新最优。瓶颈在接触而非推理:推动 92.5%、记忆任务 65.0%,而紧密插入仅 8.3%。作者开源了已演化的 tools。

    AI 选稿理由展示了编码 Agent 在真实机器人操作中的能力边界:把失败经验沉淀为可复用代码工具后能刷新 RoboDojo 榜单,但紧密插入等接触密集型任务仅 8.3%,为机器人 Agent 研究者指明了推理之外的运动控制瓶颈。

  4. TLDR AI · 前沿简报

    TLDR AI 前沿简报 2026-10-16:Muse Spark Open 开源模型、微软 MAI-Base-2 预训练栈与开放权重占比

    AI 导读本期头条包括:Muse Spark Open 为 816B 参数(激活 42B)、100 万 token 上下文的多模态开放权重模型,面向编码与长周期 Agent 任务,可在两台 Apple M5 Ultra Mac Studio 上用 MLX 本地运行;微软详解 2.8T 参数 MoE 模型 MAI-Base-2 的训练栈,称其在留出预训练评测中超过所有开放权重模型,并计划通过 Foundry 提供企业服务;Liquid AI 发布 d1-ultra 多模态决策模型,定价每百万输入 token 0.042 美元。另有多篇深度分析、Nvidia Nemotron 3.5 Super VL、Krea 3、FLUX 3 Image Klein 等工程与模型进展,以及开放权重模型已占网关超七成 token 和近四分之一花费的统计数据。

    AI 选稿理由Muse Spark Open、微软 MAI-Base-2 训练栈、Liquid d1-ultra 与 Nvidia Nemotron 3.5 Super VL 等集中发布,覆盖长上下文 Agent、企业级前沿模型与低成本决策模型,为开发者和企业提供新的开放权重与 API 选项。

  5. Hugging Face · 每日论文

    PPMem:用平面基元为视频世界模型构建持久3D记忆

    AI 导读研究者提出 PPMem,将平面基元作为视频世界模型的持久3D记忆,每个基元仅需7个参数。它在视频扩散Transformer上增加平面预测头和Depth Token Fusion模块,使自回归生成的每一段同时输出RGB视频与平面几何,并合并为持久平面记忆,通过渲染深度约束后续生成。该记忆比逐像素点云紧凑约三个数量级(约10万个基元、整场景5MB),且具备度量深度、法线和可导出表面。在DL3DV和RealEstate10K上,PPMem的视频质量优于此前的3D接地世界模型,并能在大视角变化下维持数百帧的连贯性。

    AI 选稿理由用平面基元把视频世界模型的3D记忆压缩到约5MB并保留度量深度与可导出几何,为长视频生成和场景探索提供了更可扩展的记忆表示。

  6. Hugging Face · 每日论文

    StopWatch:用显式目标定位提升物体目标导航成功率

    AI 导读论文指出,微调 VLM 作为导航策略的常见做法虽然探索能力不错,但主要失败原因是“目标定位”:无人机/机器人常没注意到目标已在视野内,也难估计距离。作者提出显式目标定位方法 StopWatch,在三个场景集合的六个基准上达到当前最优,并修正了这些基准的标注缺陷。在干净基准上,若给定真值定位,其策略几乎追平生成示范的专家,说明剩余差距在感知而非策略学习。

    AI 选稿理由把物体目标导航的主要失败归因于目标定位并给出简单有效的解法,在六个基准上刷新最优结果,同时修正基准标注,为后续导航研究提供更可靠的评测基础。

  7. Hugging Face · 每日论文

    QD-Rec:通过质量多样性实现推荐系统的开放式进化

    AI 导读研究人员提出QD-Rec方法,将开放式搜索与基础模型结合应用于推荐系统,为决策者提供多样化且高质量的推荐选项,每个选项附带自然语言解释。该方法在并购、客户目标定位及论文书籍推荐等场景中,多数情况下实现了最高的平均质量并构建了最大的推荐档案库。

    AI 选稿理由QD-Rec解决了传统推荐系统仅提供单一排序列表的局限,为高风险决策场景提供了多样化且附带解释的推荐选项,提升了决策质量。

  8. Hugging Face · 每日论文

    MIST 评测揭示视频世界模型记忆失败主因:未执行指令而非遗忘

    AI 导读研究者提出 MIST 评测,将“场景设置”与“应留下的记忆”分开检验,发现视频世界模型在记忆测试中失分主要因为未执行被指示的变更,而非遗忘。基于此提出 M3-Agent(Make the Missing Move),递归改写输入指令细节以促使模型执行指令,其 MIST reveal 得分相比基线提升三倍以上,WRBench 的 T 分数提升 26.1%,MBench-T 的 U 分数提升 52.7%。

    AI 选稿理由把视频世界模型的“执行失败”与“记忆失败”拆开诊断,并给出可递归改写指令的 M3-Agent,使冻结模型在既有基准上显著提升,为世界模型评测与提示设计提供了可复用方法。

10月15日周四
  1. NVIDIA Blog77

    NVIDIA扩展Nemotron家族:发布最高效率的Super VL和Bolt模型

    AI 导读NVIDIA发布Nemotron 3.5 Super VL和两个新的边缘模型Bolt 74B-A9B 24GB和Bolt E4B 4GB,覆盖从数据中心到桌面设备的全范围智能体部署。Super VL在多模态智能体任务上提供领先准确率,参数量约为最大推理模型的五分之一,而Bolt系列则针对边缘设备优化。

    AI 选稿理由原文给出了不同规模智能体模型的性能特点和部署场景,读者可以据此选择适合自己需求的模型。

  2. Hugging Face · 每日论文

    ACEdit: 通过非对称条件实现稳定的多轮图像编辑

    AI 导读研究团队提出ACEdit方法,解决了多轮图像编辑中质量逐渐下降的问题。该方法通过自强制训练方案和教师-学生非对称条件机制,使编辑器能够在累积分布偏移下保持稳定,实验证明其在长序列编辑中显著减少了质量退化,同时保持了编辑质量和指令遵循能力。

    AI 选稿理由解决了多轮图像编辑中累积分布偏移导致质量下降的瓶颈,为实际应用提供稳定的多轮编辑能力。

  3. Hugging Face · 每日论文

    基于网页语义保障智能体浏览交互安全的研究

    AI 导读研究人员提出Intact系统,通过GenTree表示法捕获网页来源和语义,逐元素传递给LLM处理,防止第三方注入攻击。在1,270个真实网页测试中,GenTree识别的第三方元素数量是浏览器的2.3倍;在1,091个注入攻击测试中,Intact仅让12.8%的攻击通过,而传统规划器为73.1%,且仅3.7%的任务因隔离功能受损。

    AI 选稿理由解决了AI智能体浏览网页时易受第三方内容欺骗的安全瓶颈,通过语义隔离大幅降低攻击成功率,适用于需要代理用户浏览网页的AI应用。

  4. Hugging Face · 每日论文

    DuET:用双编码器 Transformer 把钢琴演奏转录为乐谱

    AI 导读研究提出 DuET 双编码器 Transformer,把音符级演奏 MIDI 转乐谱(PM2S)转录与帧级节拍、强拍跟踪联合学习,并用双向交叉注意力连接两个编码器、自回归解码器交替预测乐谱属性;同时引入 TimeRoPE 和 TPRoPE 编码相对时间与音高关系。在 ASAP 与自建 Gangqinpu 数据集上,MUSTER 平均误差分别从 11.30% 降至 11.22%、从 6.56% 降至 3.64%,代码、权重与演示已开源。

    AI 选稿理由把节拍帧级信息引入音符级转谱,缓解无音符起音处节拍缺失的问题,改善时值与记谱时长,代码权重开源可供音乐转录研究直接复用。

  5. Hugging Face · 每日论文

    OmniXRef: 统一多模态多参考视频编辑框架

    AI 导读研究团队推出OmniXRef框架,支持结合文本、图像和视频参考进行视频编辑。该框架采用统一输入设计和R²-RoPE技术,通过单流扩散Transformer处理源视频和多模态上下文。为解决训练数据稀缺问题,研究人员构建了OmniXRef-Data数据集,并引入课程学习逐步增加任务复杂度。同时发布OmniXRef-Bench基准测试,评估视频参考在不同属性上的转移效果。实验表明,OmniXRef-Model在性能上超越任务特定基线和商业模型。

    AI 选稿理由OmniXRef解决了多模态参考视频编辑中统一处理不同类型参考的技术瓶颈,为视频创作者提供了更灵活、高效的编辑工具。

  6. Hugging Face · 每日论文

    GlobeBench: 评估文本世界模型在可扩展环境模拟中的能力

    AI 导读研究人员推出GlobeBench基准,包含5个领域、19种模拟技能的1632项任务,用于评估文本世界模型预测环境响应的能力。测试显示GPT-6 Astra成功率最高达49.57%,但当动作影响环境范围扩大时,模型平均成功率降至5.1%,631项任务无模型能解决,表明LLM作为世界模型存在显著能力差距。

    AI 选稿理由GlobeBench首次为文本世界模型提供标准化评估基准,揭示了当前模型在复杂环境预测中的局限性,为改进方向提供明确指引。

  7. Hugging Face · 每日论文

    GeoState:实现视角解耦几何状态的三维世界建模

    AI 导读研究者提出 GeoState,一种面向预测式三维世界建模的视角解耦几何表示。它利用场景 tokenizer 将多视角几何基础模型(GFM)特征聚合为解耦的场景状态,几何解码器再以相机射线查询,从而把场景状态演化与相机运动分开建模。实验显示,GeoState 在 Waymo 上优于既有三维世界模型,支持跨视角一致查询,并可零样本泛化到 KITTI 和 nuScenes,rollout 过程中无需逐帧尺度对齐。

    AI 选稿理由把相机视角变化从场景状态中剥离,解决了 GFM 特征视角依赖导致动力学难以预测的瓶颈,可提升自动驾驶等场景下三维世界模型的可预测性与跨数据集泛化能力。

  8. Hugging Face · 每日论文

    AVC-Reward:以事件为中心的音视频一致性评估与奖励模型

    AI 导读针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系,现有评估指标多沿用早期单向简单任务,难以适用。作者提出以事件为中心的评估框架:在事件层面拆解音频与视觉事件,独立分析后用跨模态关系交叉验证,再聚合成由粗到细的三级一致性指标,涵盖全局叙事和谐、事件级时间同步与细粒度属性对齐。该指标实例化为可训练奖励模型 AVC-Reward,并构建 AVC-Benchmark。结果显示其在自动方法中与人类判断对齐最佳,可给出定位失败的可解释依据,作为在线强化学习信号还能提升联合生成模型的音视频一致性。

    AI 选稿理由为复杂音视频生成场景提供了可训练的一致性奖励模型,既能自动评判并定位不一致,也可作为强化学习信号直接改善生成质量。

  9. Hugging Face · 每日论文

    ACT3D:让视觉语言模型在3D空间中主动探索并思考

    AI 导读研究提出 ACT3D,不向视觉语言模型提供多视角图像、视频或3D表示,而是保持单张图像的原生视觉编码,将3D环境作为可交互空间,模型通过移动、转向等动作和渲染图像观察迭代推理并探索。经轨迹监督微调后,采用以最终答案正确性为主要奖励的强化学习,模型需自行学会探索策略。在六个3D基准上平均准确率53.2%,比基础Qwen模型高22个百分点,超过Gemini 3.6 Flash,且输入帧数减少50%–70%,在未见领域平均提升5.9%。

    AI 选稿理由证明仅用结果奖励的强化学习可让视觉语言模型学会何时、如何获取视觉证据,在需要大量探索的问题上相对基础模型提升16.3%,为3D空间中的具身问答与主动感知提供了可复用方法。

  10. Hugging Face · 每日论文

    Event-STVG:面向长时事件推理的时空视频定位基准

    AI 导读论文提出Event-STVG任务,把时空视频定位从匹配实例描述转向事件级推理,统一长上下文、重复事件推理、事件定位、角色推断与多目标定位。作者构建含4,016个标注事件的基准,覆盖足球及另外七个领域;实验显示最强多模态大模型在10分钟时长上m-vIoU仅5.4%,且反复混淆同类型重复事件、空间定位薄弱、很少能同时定位全部所需角色。代码与标注已开源。

    AI 选稿理由提出事件级时空定位新任务与4,016事件、八领域基准,给出最强MLLM在10分钟跨度仅5.4% m-vIoU的量化结果及三类失败模式,适用于视频理解评测研究。

  11. Hugging Face · 每日论文

    RSIFlow:基于进化元代理的自适应自我改进工作流

    AI 导读研究人员提出RSIFlow框架,通过诊断性能瓶颈和环境反馈动态选择改进工作流,元代理将工作流结果提炼为组件技能和跨组件原则,实现工作流编排的持续进化。在六个基准测试和两个骨干模型上的实验显示,RSIFlow在所有基准测试上达到最先进平均性能。

    AI 选稿理由解决了LLM代理自我改进工作流难以适应性能瓶颈的挑战,通过元代理进化实现工作流编排的自适应优化,显著提升复杂任务处理能力。

  12. Hugging Face · 每日论文

    Hugging Face 每日论文:SABER 基准揭示视觉语言模型属性-对象绑定缺陷,纯文本微调即可修复

    AI 导读论文提出 SABER 基准,覆盖四种图文模态组合、多种属性类型及最多十个对象的场景,评测发现 CLIP 类双编码器和基于 MLLM 的嵌入模型普遍存在属性-对象绑定失败。作者随后仅用合成属性绑定文本微调一个 MLLM 嵌入器,在没有图像监督的情况下,跨模态与图像-图像检索均有提升,在 SABER 上达到 SOTA,并改善了否定与实例检索基准。

    AI 选稿理由指出多模态检索中属性-对象绑定这一被低估的瓶颈,并证明仅用廉价可生成的合成文本监督即可显著提升跨模态检索能力,降低了为绑定任务收集配对图像的标注成本。

  13. Hugging Face · 每日论文

    OS-Helix:在原生计算机代理中统一 GUI 交互与代码执行

    AI 导读研究者提出 OS-Helix,一个端到端训练的多模态计算机使用代理,将 GUI 操作与代码执行统一在同一动作空间中。实验发现简单加入代码工具会拖累 GUI 代理,因此需要混合数据训练内化路由能力。团队通过应用-工件组合生成可执行 Ubuntu 状态和可验证任务,先用 SFT 冷启动,再在真实桌面环境做在线 RL,并提出按动作步聚合权重的 Step-balanced GSPO。在 OSWorld-Verified 上,OS-Helix-27B 与 OS-Helix-35B-A3B 相对同规模 Qwen3.5 混合基线分别提升 35.0% 和 33.7%,OS-Helix-27B-RL 再提升 42.9%,成功率达 66.44%。

    AI 选稿理由把 GUI 操作和代码执行训练进同一策略,解决了此前靠提示词拼工具导致代码能力拖累 GUI 的瓶颈,并给出可验证数据生成和 RL 优化方法,可供构建桌面自动化代理的研究与工程团队参考。