多模态

AI 导读研究者提出 PPMem，将平面基元作为视频世界模型的持久3D记忆，每个基元仅需7个参数。它在视频扩散Transformer上增加平面预测头和Depth Token Fusion模块，使自回归生成的每一段同时输出RGB视频与平面几何，并合并为持久平面记忆，通过渲染深度约束后续生成。该记忆比逐像素点云紧凑约三个数量级（约10万个基元、整场景5MB），且具备度量深度、法线和可导出表面。在DL3DV和RealEstate10K上，PPMem的视频质量优于此前的3D接地世界模型，并能在大视角变化下维持数百帧的连贯性。

AI 选稿理由用平面基元把视频世界模型的3D记忆压缩到约5MB并保留度量深度与可导出几何，为长视频生成和场景探索提供了更可扩展的记忆表示。

AI 导读论文指出，微调 VLM 作为导航策略的常见做法虽然探索能力不错，但主要失败原因是“目标定位”：无人机/机器人常没注意到目标已在视野内，也难估计距离。作者提出显式目标定位方法 StopWatch，在三个场景集合的六个基准上达到当前最优，并修正了这些基准的标注缺陷。在干净基准上，若给定真值定位，其策略几乎追平生成示范的专家，说明剩余差距在感知而非策略学习。

AI 选稿理由把物体目标导航的主要失败归因于目标定位并给出简单有效的解法，在六个基准上刷新最优结果，同时修正基准标注，为后续导航研究提供更可靠的评测基础。

AI 导读研究人员提出QD-Rec方法，将开放式搜索与基础模型结合应用于推荐系统，为决策者提供多样化且高质量的推荐选项，每个选项附带自然语言解释。该方法在并购、客户目标定位及论文书籍推荐等场景中，多数情况下实现了最高的平均质量并构建了最大的推荐档案库。

AI 选稿理由QD-Rec解决了传统推荐系统仅提供单一排序列表的局限，为高风险决策场景提供了多样化且附带解释的推荐选项，提升了决策质量。

AI 导读研究者提出 MIST 评测，将“场景设置”与“应留下的记忆”分开检验，发现视频世界模型在记忆测试中失分主要因为未执行被指示的变更，而非遗忘。基于此提出 M3-Agent（Make the Missing Move），递归改写输入指令细节以促使模型执行指令，其 MIST reveal 得分相比基线提升三倍以上，WRBench 的 T 分数提升 26.1%，MBench-T 的 U 分数提升 52.7%。

AI 选稿理由把视频世界模型的“执行失败”与“记忆失败”拆开诊断，并给出可递归改写指令的 M3-Agent，使冻结模型在既有基准上显著提升，为世界模型评测与提示设计提供了可复用方法。

AI 导读Meta 的编码优化开放权重模型 Muse Spark Open 已在 Amazon SageMaker JumpStart 上线，支持 100 万 token 上下文窗口，可在自己的 AWS 账户中部署到 SageMaker AI 端点。

AI 导读NVIDIA发布Nemotron 3.5 Super VL和两个新的边缘模型Bolt 74B-A9B 24GB和Bolt E4B 4GB，覆盖从数据中心到桌面设备的全范围智能体部署。Super VL在多模态智能体任务上提供领先准确率，参数量约为最大推理模型的五分之一，而Bolt系列则针对边缘设备优化。

AI 选稿理由原文给出了不同规模智能体模型的性能特点和部署场景，读者可以据此选择适合自己需求的模型。

AI 导读本期 AINews 三条主线：一，Modal 跨过 10 亿美元年化收入并完成 7.5 亿美元 D 轮、估值 157.5 亿美元，用量一年增长超 15 倍；二，Google 大范围推送 Gemini 4 Argon，覆盖编码、金融、法律、网络安全与科研，并公布酶设计、机器人演示等结果，Neel Nanda 指出其可监控性显著低于以往模型；三，Meta Muse Wonder、Grok Voice 3.0、Ultramarine 1 Flash、DeepSeek V4.1 Flash 等模型与多项基准、Agent 安全事件同期落地。

AI 选稿理由Gemini 4 Argon 是本期最关键的模型发布，公开了编码、科研与机器人能力数据，同时被评估为可监控性大幅下降、在简单破坏任务中约半数能绕过思维链+行为监控，直接影响依赖模型行为审计的开发者和安全团队。

AI 导读研究团队提出ACEdit方法，解决了多轮图像编辑中质量逐渐下降的问题。该方法通过自强制训练方案和教师-学生非对称条件机制，使编辑器能够在累积分布偏移下保持稳定，实验证明其在长序列编辑中显著减少了质量退化，同时保持了编辑质量和指令遵循能力。

AI 选稿理由解决了多轮图像编辑中累积分布偏移导致质量下降的瓶颈，为实际应用提供稳定的多轮编辑能力。

AI 导读研究人员提出Intact系统，通过GenTree表示法捕获网页来源和语义，逐元素传递给LLM处理，防止第三方注入攻击。在1,270个真实网页测试中，GenTree识别的第三方元素数量是浏览器的2.3倍；在1,091个注入攻击测试中，Intact仅让12.8%的攻击通过，而传统规划器为73.1%，且仅3.7%的任务因隔离功能受损。

AI 选稿理由解决了AI智能体浏览网页时易受第三方内容欺骗的安全瓶颈，通过语义隔离大幅降低攻击成功率，适用于需要代理用户浏览网页的AI应用。

AI 导读研究提出 DuET 双编码器 Transformer，把音符级演奏 MIDI 转乐谱（PM2S）转录与帧级节拍、强拍跟踪联合学习，并用双向交叉注意力连接两个编码器、自回归解码器交替预测乐谱属性；同时引入 TimeRoPE 和 TPRoPE 编码相对时间与音高关系。在 ASAP 与自建 Gangqinpu 数据集上，MUSTER 平均误差分别从 11.30% 降至 11.22%、从 6.56% 降至 3.64%，代码、权重与演示已开源。

AI 选稿理由把节拍帧级信息引入音符级转谱，缓解无音符起音处节拍缺失的问题，改善时值与记谱时长，代码权重开源可供音乐转录研究直接复用。

AI 导读研究团队推出OmniXRef框架，支持结合文本、图像和视频参考进行视频编辑。该框架采用统一输入设计和R²-RoPE技术，通过单流扩散Transformer处理源视频和多模态上下文。为解决训练数据稀缺问题，研究人员构建了OmniXRef-Data数据集，并引入课程学习逐步增加任务复杂度。同时发布OmniXRef-Bench基准测试，评估视频参考在不同属性上的转移效果。实验表明，OmniXRef-Model在性能上超越任务特定基线和商业模型。

AI 选稿理由OmniXRef解决了多模态参考视频编辑中统一处理不同类型参考的技术瓶颈，为视频创作者提供了更灵活、高效的编辑工具。

AI 导读研究人员推出GlobeBench基准，包含5个领域、19种模拟技能的1632项任务，用于评估文本世界模型预测环境响应的能力。测试显示GPT-6 Astra成功率最高达49.57%，但当动作影响环境范围扩大时，模型平均成功率降至5.1%，631项任务无模型能解决，表明LLM作为世界模型存在显著能力差距。

AI 选稿理由GlobeBench首次为文本世界模型提供标准化评估基准，揭示了当前模型在复杂环境预测中的局限性，为改进方向提供明确指引。

AI 导读研究者提出 GeoState，一种面向预测式三维世界建模的视角解耦几何表示。它利用场景 tokenizer 将多视角几何基础模型（GFM）特征聚合为解耦的场景状态，几何解码器再以相机射线查询，从而把场景状态演化与相机运动分开建模。实验显示，GeoState 在 Waymo 上优于既有三维世界模型，支持跨视角一致查询，并可零样本泛化到 KITTI 和 nuScenes，rollout 过程中无需逐帧尺度对齐。

AI 选稿理由把相机视角变化从场景状态中剥离，解决了 GFM 特征视角依赖导致动力学难以预测的瓶颈，可提升自动驾驶等场景下三维世界模型的可预测性与跨数据集泛化能力。

AI 导读针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系，现有评估指标多沿用早期单向简单任务，难以适用。作者提出以事件为中心的评估框架：在事件层面拆解音频与视觉事件，独立分析后用跨模态关系交叉验证，再聚合成由粗到细的三级一致性指标，涵盖全局叙事和谐、事件级时间同步与细粒度属性对齐。该指标实例化为可训练奖励模型 AVC-Reward，并构建 AVC-Benchmark。结果显示其在自动方法中与人类判断对齐最佳，可给出定位失败的可解释依据，作为在线强化学习信号还能提升联合生成模型的音视频一致性。

AI 选稿理由为复杂音视频生成场景提供了可训练的一致性奖励模型，既能自动评判并定位不一致，也可作为强化学习信号直接改善生成质量。

AI 导读研究提出 ACT3D，不向视觉语言模型提供多视角图像、视频或3D表示，而是保持单张图像的原生视觉编码，将3D环境作为可交互空间，模型通过移动、转向等动作和渲染图像观察迭代推理并探索。经轨迹监督微调后，采用以最终答案正确性为主要奖励的强化学习，模型需自行学会探索策略。在六个3D基准上平均准确率53.2%，比基础Qwen模型高22个百分点，超过Gemini 3.6 Flash，且输入帧数减少50%–70%，在未见领域平均提升5.9%。

AI 选稿理由证明仅用结果奖励的强化学习可让视觉语言模型学会何时、如何获取视觉证据，在需要大量探索的问题上相对基础模型提升16.3%，为3D空间中的具身问答与主动感知提供了可复用方法。

AI 导读论文提出Event-STVG任务，把时空视频定位从匹配实例描述转向事件级推理，统一长上下文、重复事件推理、事件定位、角色推断与多目标定位。作者构建含4,016个标注事件的基准，覆盖足球及另外七个领域；实验显示最强多模态大模型在10分钟时长上m-vIoU仅5.4%，且反复混淆同类型重复事件、空间定位薄弱、很少能同时定位全部所需角色。代码与标注已开源。

AI 选稿理由提出事件级时空定位新任务与4,016事件、八领域基准，给出最强MLLM在10分钟跨度仅5.4% m-vIoU的量化结果及三类失败模式，适用于视频理解评测研究。

AI 导读研究人员提出RSIFlow框架，通过诊断性能瓶颈和环境反馈动态选择改进工作流，元代理将工作流结果提炼为组件技能和跨组件原则，实现工作流编排的持续进化。在六个基准测试和两个骨干模型上的实验显示，RSIFlow在所有基准测试上达到最先进平均性能。

AI 选稿理由解决了LLM代理自我改进工作流难以适应性能瓶颈的挑战，通过元代理进化实现工作流编排的自适应优化，显著提升复杂任务处理能力。

AI 导读论文提出 SABER 基准，覆盖四种图文模态组合、多种属性类型及最多十个对象的场景，评测发现 CLIP 类双编码器和基于 MLLM 的嵌入模型普遍存在属性-对象绑定失败。作者随后仅用合成属性绑定文本微调一个 MLLM 嵌入器，在没有图像监督的情况下，跨模态与图像-图像检索均有提升，在 SABER 上达到 SOTA，并改善了否定与实例检索基准。

AI 选稿理由指出多模态检索中属性-对象绑定这一被低估的瓶颈，并证明仅用廉价可生成的合成文本监督即可显著提升跨模态检索能力，降低了为绑定任务收集配对图像的标注成本。

AI 导读研究者提出 OS-Helix，一个端到端训练的多模态计算机使用代理，将 GUI 操作与代码执行统一在同一动作空间中。实验发现简单加入代码工具会拖累 GUI 代理，因此需要混合数据训练内化路由能力。团队通过应用-工件组合生成可执行 Ubuntu 状态和可验证任务，先用 SFT 冷启动，再在真实桌面环境做在线 RL，并提出按动作步聚合权重的 Step-balanced GSPO。在 OSWorld-Verified 上，OS-Helix-27B 与 OS-Helix-35B-A3B 相对同规模 Qwen3.5 混合基线分别提升 35.0% 和 33.7%，OS-Helix-27B-RL 再提升 42.9%，成功率达 66.44%。

AI 选稿理由把 GUI 操作和代码执行训练进同一策略，解决了此前靠提示词拼工具导致代码能力拖累 GUI 的瓶颈，并给出可验证数据生成和 RL 优化方法，可供构建桌面自动化代理的研究与工程团队参考。

AI 导读研究团队提出Lean4AgenticRL框架，首次将多层次过程奖励统一到Lean4形式化架构中，解决了当前大型语言模型在强化学习中仅依赖高层结果奖励的问题。该框架构建了问题特定工作流系统，并使用工作流阶段归一化的GRPO算法提供多层次奖励，训练出的LAR-9B/27B模型在TerminalBench-2.1上达到77.3%准确率，比基线模型高9.89%，比同类最佳模型高5.07%。

AI 选稿理由首次将形式化方法与多层次奖励机制结合，显著提升了智能体在复杂软件工程和终端使用任务中的强化学习效果。