多模态

AI 导读本文提出了一种名为Vision-Language-Delta-Action（VLDA）的新范式，通过紧凑的Delta变量捕捉潜在的世界状态变化，作为视觉语言理解和动作生成之间的接口。VLDA通过统一目标学习Delta，包括局部过渡滤波器（LT-Filter）和全局过渡锚点（GT-Anchor），以改善长期一致性、鲁棒性和泛化能力。

AI 选稿理由VLDA通过紧凑的Delta变量捕捉潜在的世界状态变化，作为视觉语言理解和动作生成之间的接口，从而提高了机器人操作的长期一致性、鲁棒性和泛化能力。

AI 导读研究团队发布PVBench，从7个领域、46个维度评估生成视频的物理合理性，覆盖指令与语义、行为因果、几何空间、材料与场状态、运动学及机械守恒等。基准含600条提示，其中30%涉及机械臂、人形、四足等具身智能体，并为可计算维度接入6D位姿、尺度、法线等专用视觉模型，避免只靠主观打分；同时支持文生视频与图生视频，并用人工评估校验自动指标。

AI 选稿理由提供了一个把物理合理性拆成可测量维度并配专用视觉模型的视频生成基准，公开600条提示与校准协议，适合评估视频模型而非只看画面观感。

AI 导读研究团队提出EgoXperience全栈范式，通过数据收集、自动标注、统一建模和基准测试解决自我中心视频重建中的一致性问题。核心EgoX-Engine引擎结合几何验证的目标跟踪与SLAM世界对齐，生成EgoX-Data-6M数据集（50小时任务驱动操作与移动数据）和EgoX-Bench基准。EgoX模型在单目自我中心视频和首帧目标掩码下，通过单次前向传播实现相机、场景、手部和物体的联合度量重建，实验显示在场景估计和世界空间手-物体姿态恢复方面达到最先进性能。

AI 选稿理由解决了自我中心视频重建中多元素一致性的瓶颈，为AR/VR和机器人操作提供高精度世界坐标框架重建能力。

AI 导读研究团队推出OpenDS任务和OpenDS-World基准，评估AI代理在真实开放网络环境中进行多步骤深度搜索的能力。该基准包含200个挑战性任务，涵盖多种信息模态、异构文件格式和交互访问要求。评估显示，最佳模型准确率为39.0%，而人类评估准确率为21.1%。研究揭示了模型在工具协调和长程搜索管理方面的持续挑战。

AI 选稿理由OpenDS-World提供了首个系统评估AI代理在真实开放网络环境中自主深度搜索能力的统一平台，包含200个多模态、异构格式的挑战任务，并揭示了当前模型在工具协调和长程搜索管理方面的显著差距。

AI 导读TRACE 把 EHR、胸片、放射报告和出院小结组织成日级轨迹，用时间注意力区分全局背景与当日事件，并对缺失模态不生成 token；表型引导的对比学习进一步处理疾病分布差异。在 MIMIC-IV、eICU、MIMIC-III 近 18 万次住院上，TRACE 在死亡率、住院时长和再入院共 9 个数据-任务设置中 AUROC 全部最高，ACC 在 8 个设置中最高；消融实验验证注意力掩码与对比学习，轨迹级归因能定位风险相关的住院日与模态。

AI 选稿理由提出了按天建模住院多模态轨迹并允许缺失模态不生成 token 的方法，在三个公开队列共约18万次住院的九项预测设置上取得最高 AUROC，并给出消融与归因验证。

AI 导读浙江大学团队提出ScaleNav框架，通过三阶段训练方法利用网络第一人称视频学习目标导向的视觉动态，实现机器人根据文本指令导航至指定位置。在Short-Horizon OVON单视图变体和HabitatGS-LN基准测试中分别达到86.5%和94.9%的成功率，并在真实四足机器人上验证了泛化能力。

AI 选稿理由解决了机器人导航训练数据稀缺和仿真到现实差距问题，通过互联网视频预训练实现了高精度的语言条件导航能力。

AI 导读扩散式视频抠像受算力限制，每次只能处理6至24帧，跨分块边界易出现边缘闪烁和透明度不连续。VideoMaMa++把RGB与掩码作为独立Token流，经全时空自注意力自适应融合，并引入可学习的保留Token与细化Token，配合滑动窗口推理把已生成抠像传播到下一分块，同时用全局参考锚点防止长序列误差累积，无需额外训练。在标准基准和真实长视频上，其细节精度与时序一致性均优于此前扩散方法。

AI 选稿理由论文针对扩散视频抠像的分块不一致问题提出可复用方法，并在标准基准和长视频上报告了跨边界一致性结果，适合作为视频生成/编辑方向的技术简报。

AI 导读Anthropic承诺将5%股权用于公共利益基金，支持AI对经济和劳动力的影响；OpenAI测试新Aurora图像模型；Anthropic报告初级技术招聘比例下降，员工使用Claude提高生产力但监督工作增加；DeepSeek发布Search & Fetch API和DeepSeek-V4.1-Flash-1017模型；Replit将默认AI提供商更换为OpenAI；Stack Overflow for Agents通过ChatGPT插件实现用户量三倍增长；Qualcomm预测2028年手机将运行1000亿参数模型。

AI 选稿理由Anthropic设立首个AI公共利益基金，DeepSeek-V4.1-Flash-1017显著提升推理与编码能力并降低KV缓存占用，Replit和Stack Overflow的AI集成实践展示产业应用变化。

AI 导读研究团队提出MMedAgent-Plus，用视觉语言规划器统一调度18个专科模型，覆盖12项任务、8种模态。规划器在32个公开医疗基准的208,928个样本上指令微调；单工具多轮、多工具多轮、多工具单轮的调用准确率分别为91.0%、98.1%、80.7%。端到端在7项任务的350例中正确调用专科模型占90.6%，最终答案准确率0.98，最强基线为0.28。

AI 选稿理由给出多模态医疗Agent的工具调用准确率与端到端结果，并保留评测任务、样本量和基线对照，可作为医疗Agent工具编排的参考数据。

AI 导读研究人员在复现POPE基准测试的幻觉缓解结果时发现，评估代码中的token选择会影响F1分数。通过分析9,000个问题，发现模型实际生成的是带空格前缀的"Yes"和"No"token，而非直接比较的"yes"和"no"token。这种评估方法导致LLaVA-1.5-7B在对抗分割上的F1分数提高了6.13点，超过多数报告的增益。研究还发现错误预测比正确预测获得更多图像注意力，与基于纠正的假设相反。

AI 选稿理由揭示了视觉语言模型评估中token选择对结果的关键影响，解决了评估方法不一致导致的性能比较难题，为研究人员提供了标准化的评估框架。

AI 导读研究团队构建统一数据管线，把机器人操作录像自动标注、并与多来源视觉数据一起转为可验证的定位监督，约150万样本微调Qwen3.5-9B得到ACE-Brain-0.6。在7项公开定位基准上，该模型以四项胜出、平均分75.41超过GPT-6 Astra的73.68；固定微调方案下，随训练数据覆盖更多定位场景，聚合成绩稳步提升。

AI 选稿理由开放9B模型以可验证空间定位监督在7项公开基准均分上超过GPT-6 Astra，且给出数据扩展与得分同步提升的受控结果，适用于具身操作的空间感知环节。

AI 导读研究团队提出InfiniDream框架，结合视觉语言模型与程序生成技术，实现了开放式的逼真3D世界生成。该框架包含符号约束资产生成和端到端文本到世界管道，可在保持可编辑性和多样性的同时创建新型资产，并通过语义场景规划和确定性视锥引导网格放置构建大规模3D世界。在100个对象和20个场景生成任务中，该框架在四个感知指标上表现优异。

AI 选稿理由解决了现有VLM引导的程序生成方法受限于预定义工厂和API的问题，使AI能够创建新型逼真3D资产和世界，适用于游戏开发和合成数据创建。

AI 导读研究团队提出 Ropedia W0，首个覆盖人类与多种机器人本体的自我中心移动操作世界基础模型。其数据 Xp-Data 含 1 万小时人类数据与 3 千小时机器人数据，用统一运动学表征编码相机位姿与投影骨架。在 DreamDojo、Ψ_0、ω-HOME、Xp-Teleop、AgiBot 五个跨本体基准及留出人类视频上取得最优结果，蒸馏后支持实时分钟级推演与 VR 交互。

AI 选稿理由首次给出跨人-机本体的移动操作世界基础模型，并构建 1.3 万小时统一标注数据和 Xp-Teleop 基准，在多基准取得最优，蒸馏后支持实时推演，为具身决策提供可复用的数据与评测基础。

AI 导读研究人员提出Stateful Harness框架，将世界演化与视频渲染分离，支持基于规则的状态交互。通过维护 evolving world state 并使用冻结视频模型渲染事件，该框架在隐藏状态场景下实现了92%的规则合规率，显著优于现有方法。团队还构建了WorldState-Bench基准测试，包含50对反事实双胞胎样本用于评估。

AI 选稿理由解决了世界模型在隐藏状态场景下规则执行不稳定的瓶颈，为需要持久规则交互的应用提供了新框架

AI 导读该论文揭示了混合架构中不同混合器之间的竞争学习现象，现代递归层在检索功能学习上快于softmax注意力，导致注意力层难以学习检索功能。通过在训练中途停止递归层权重更新，可使注意力层成功学习检索功能。提出的分阶段训练方法在10亿参数模型上显著提升了语言建模损失、常识推理及多种检索相关任务性能。

AI 选稿理由解决了混合架构中不同混合器功能竞争的问题，提供了一种有效的分阶段训练方法，显著提升了混合模型在检索任务和语言建模中的性能。

AI 导读现代文本到图像（T2I）系统使用大规模语言预训练进行文本条件图像生成。本文提出Halcyon，一种早期融合的多模态自回归模型，完全从零开始在GPIC数据集上预训练，该数据集包含100M图像-文本对。Halcyon-0.52B在预训练计算量上比LlamaGen-XL/8少18.2倍，性能优于后者。Halcyon-1.6B在预训练计算量上比JiT-T2I-XXL/8++少275倍，性能也优于后者。控制实验表明，仅文本预训练不会提高T2I生成。Halcyon通过替换caption dropout为I2T监督，在不增加预训练预算的情况下，也能保持有竞争力的T2I生成质量。研究表明，强大的T2I系统可以在没有互联网规模语言预训练的情况下从头开始训练。代码和模型可在https://cs.stanford.edu/~keshik/halcyon获取。

AI 选稿理由展示了无需大规模语言预训练即可训练强大的文本到图像生成系统，降低了预训练计算需求。

AI 导读论文指出，GUI代理若在每一步都均匀输入截图、音频、视频、交互历史和设备状态等全模态信息，无关信号会随步骤变化成为干扰，误差回传会造成“序列分心”和轨迹漂移。为此作者提出FocusGUI，以步骤特定的决策参考动态压缩最相关证据为隐表示，注入冻结解码器的嵌入，仅用动作监督训练。在四个全模态骨干上平均Type Match提升33.2、Exact Match提升3倍。

AI 选稿理由提出只有动作监督训练、无需相关性标注与骨干微调的轻量适配器，给出四个全模态骨干上的Type Match与Exact Match量化提升，属全模态GUI代理方法进展。

AI 导读谷歌Gemini 4 Argon的四个AI代理首次在没有人类帮助的情况下自主完成Minecraft游戏，成功击败末影龙。这些代理没有预设角色或策略，自主协调编写了2,783个程序，交换了229条聊天消息，死亡605次，整个会话成本为1,620美元。

AI 选稿理由展示了多AI代理系统在没有人类干预的情况下完成复杂协作任务的能力

AI 导读据消息人士透露，Anthropic正在咨询律师事务所关于谈判策略，同时开发能够代表人类进行谈判并与AI系统互动的智能体。科技公司在机器代表人类行动时，被迫面对谈判规则问题。

AI 选稿理由这是AI代理首次被明确开发用于代表人类进行商业谈判，标志着AI在商业决策中的角色扩展。

AI 导读麻省理工学院的研究人员创建了一个多模态 AI 模型，该模型结合了 3D 原子结构和自然语言描述，以从实验研究论文和第一原理计算数据库中创建关于结构的丰富语言描述。该模型能够识别比仅使用文本流训练的模型更好的材料设计，并展示了其在新材料发现和材料科学中的应用潜力。

AI 选稿理由该模型通过结合 3D 原子结构和自然语言描述，解决了现有 AI 模型在处理材料数据时的局限性，有助于加速材料科学的发展。