#多模态.

AI 导读Manga2Animate提出了一种多智能体框架，通过将漫画动画生成任务分解为动画脚本和视觉分镜两个中间表示，每个表示由创作者智能体生成并由配对的审查者智能体对照原漫画面板进行审核，最终合成忠实于原漫画且跨镜头一致的动画。实验和用户研究表明，该方法比现有技术更忠实于原漫画且跨镜头一致性更强。

AI 选稿理由解决了漫画动画生成中忠实于原作和保持故事连贯性的瓶颈，为动画制作提供了可复用的技术方案。

AI 导读研究人员提出Stateful Harness框架，将世界演化与视频渲染分离，支持基于规则的状态交互。通过维护 evolving world state 并使用冻结视频模型渲染事件，该框架在隐藏状态场景下实现了92%的规则合规率，显著优于现有方法。团队还构建了WorldState-Bench基准测试，包含50对反事实双胞胎样本用于评估。

AI 选稿理由解决了世界模型在隐藏状态场景下规则执行不稳定的瓶颈，为需要持久规则交互的应用提供了新框架

AI 导读研究团队提出InfiniDream框架，结合视觉语言模型与程序生成技术，实现了开放式的逼真3D世界生成。该框架包含符号约束资产生成和端到端文本到世界管道，可在保持可编辑性和多样性的同时创建新型资产，并通过语义场景规划和确定性视锥引导网格放置构建大规模3D世界。在100个对象和20个场景生成任务中，该框架在四个感知指标上表现优异。

AI 选稿理由解决了现有VLM引导的程序生成方法受限于预定义工厂和API的问题，使AI能够创建新型逼真3D资产和世界，适用于游戏开发和合成数据创建。

AI 导读该论文揭示了混合架构中不同混合器之间的竞争学习现象，现代递归层在检索功能学习上快于softmax注意力，导致注意力层难以学习检索功能。通过在训练中途停止递归层权重更新，可使注意力层成功学习检索功能。提出的分阶段训练方法在10亿参数模型上显著提升了语言建模损失、常识推理及多种检索相关任务性能。

AI 选稿理由解决了混合架构中不同混合器功能竞争的问题，提供了一种有效的分阶段训练方法，显著提升了混合模型在检索任务和语言建模中的性能。

AI 导读研究团队提出由不同学科背景的AI研究员组成的协作团队，通过保持独立研究历史、共享实验证据和自适应分配研究机会，在有限实验预算下持续发现新架构。该团队在1.3B规模线性注意力架构搜索中，于语言建模、常识推理和检索任务上超越GDN2模型。移除任何组织组件都会显著降低发现效果。

AI 选稿理由提出多学科AI研究团队协作机制，在有限预算下实现持续科学发现，实验证明不同背景、独立历史和自适应分配对突破局部最优至关重要。

AI 导读研究团队推出RoboCasa-Shift基准，通过控制单因素偏移、匹配清洁-扰动轨迹和模拟器引导的阶段感知诊断，评估GR00T N1.5在四个长时程任务中的鲁棒性。研究发现鲁棒性响应在不同因素和任务间差异显著，且严重程度增加并不总是导致单调退化。同一端到端退化可能对应不同的执行深度配置，表明视觉语言动作鲁棒性应被视为执行的多维属性而非单一端到端性能指标。

AI 选稿理由提供了一种新的鲁棒性评估方法，揭示了视觉语言动作策略在不同扰动因素下的多维失效模式，适用于机器人操作领域的鲁棒性研究。

AI 导读研究者发布Code2Video-Compass基准，用于评估多模态大模型把视觉与时间要求转成可执行程序来生成完整视频的能力。基准含2104项任务、10类、24子类和构建、动态动画、状态依赖三个复杂度维度，覆盖T2V、I2V、V2V；采用12项客观指标与5项主观指标的评测框架。15个来自9个家族的专有及开放权重模型测试显示，领先模型仍难稳定生成符合要求的完整视频，复杂度升高时性能普遍下降。

AI 选稿理由该工作提供覆盖三种输入模态与三个复杂度维度的2104项代码视频生成任务及双层评测框架，并给出15个模型的实证结果，适用于评估程序化视频生成能力。

AI 导读StyleStream 2.0通过训练少量步骤的像素MeanFlow模型并使用自回归反馈微调，将端到端延迟降低至520毫秒，比1.0版本提速2倍，同时保持转换质量。该框架引入紧凑的风格嵌入，支持基于文本的语音设计和指令式语音编辑，在目标风格保真度方面达到最强性能。

AI 选稿理由StyleStream 2.0实现了语音风格转换的延迟优化和文本控制能力提升，适用于实时语音处理和个性化语音生成场景。

AI 导读研究团队提出DiffResearch框架，将扩散语言模型(dLLM)应用于深度研究的每个阶段。在100项Deep Research Bench任务中，扩散模型比自回归模型快约6倍，主要得益于规划和写作阶段的显著提速。团队还引入dFast模式，通过读取中间去噪状态提取子查询，实现1.99倍速度提升且不降低报告质量。基于更强扩散模型的系统在排行榜上超越多个商业系统。DiffResearch已以Apache-2.0许可证开源。

AI 选稿理由扩散语言模型在深度研究框架中实现端到端速度提升6倍，dFast模式进一步加速分解过程，且报告质量保持不变，开源框架可促进研究应用。

AI 导读研究证明扩散语言模型代理可通过连续状态传递隐藏消息，接收方会使用这些消息内容。在Tiny-A2D和Dream-7B任务中，移除消息导致性能下降63.6和100.0点；错误消息使QASC准确率从80.8%降至46.8%。单次晚期信息传递效果优于四次交换，提供扩散模型代理间连续隐藏通信的因果证据。

AI 选稿理由研究首次证明扩散语言模型代理可通过连续状态进行隐藏通信，并展示了信息传递时机比交换次数更重要。

AI 导读研究团队推出StreamEval，一个涵盖五个任务的交互式流式视频生成统一基准，包括虚拟人对话、表演、世界生成、指令编辑和参考编辑。该基准包含300个测试用例，通过四个维度（任务执行、状态一致性、视觉保真度和视听协调）评估37个模型，发现高质量视觉和身份保留并不一定可靠执行请求或保持状态一致性，请求执行仍是主要挑战。

AI 选稿理由StreamEval提供了首个交互式流式视频生成的统一评估框架，揭示了当前模型在请求执行和状态一致性方面的关键缺陷，为实时多模态系统发展指明方向。

AI 导读研究团队提出TextRIRO模型，通过破坏原始图像（如裁剪、打乱、遮盖）构建自配对训练数据，基于条件扩散架构实现场景文本编辑。实验表明，结合字符列打乱与图像裁剪的方法能有效破坏文本语义同时保留风格线索，在真实世界基准测试中取得准确性和视觉真实性的优异表现，并构建了TextRIRO-3M大规模长文本识别数据集。

AI 选稿理由TextRIRO模型通过自配对真实数据训练，显著降低了合成到真实领域的差距，为场景文本编辑提供了更可靠、更实用的解决方案。

AI 导读Qwen-Audio-3.1-ASR在Qwen-Audio-3.0-ASR基础上改进了语音识别能力，扩展了说话人分离转录和通用音频理解功能。该模型家族支持30种语言和16种中国方言，具备历史上下文条件、分层热词定制和原生转录润色等指令控制能力。评估涵盖传统语音识别、多语言方言、说话人分离转录和通用音频理解任务。

AI 选稿理由新增了说话人分离转录和通用音频理解能力，扩展了从语音识别到音频事件分析的应用范围。

AI 导读2026年1月至9月，Amazon SageMaker JumpStart平台新增了100多个模型，来自30家不同提供商，包括阿里巴巴(Qwen)、NVIDIA、Mistral、Google、IBM和Cohere等。这些模型涵盖推理、多模态、语音识别、文本生成、代码生成、嵌入和重排序等多种能力，支持一键部署和定制化训练，帮助客户快速构建生产级AI应用。

AI 选稿理由SageMaker JumpStart通过整合多元化开源模型和优化部署流程，显著降低了AI模型从选择到部署的时间成本，同时提供了针对特定任务的高效模型选择。

AI 导读MIT、波士顿儿童医院和Inria研究人员开发了E(3)-Pose深度学习模型，通过将胎儿头部左右对称性原理融入神经网络架构，解决了胎儿在MRI扫描中移动导致的图像切片角度不一致问题。该模型能捕捉胎儿运动时的高分辨率头部图像，帮助放射科医生更准确诊断脑部异常，有望替代当前缓慢的手动胎儿脑部MRI扫描过程。

AI 选稿理由解决了胎儿MRI扫描中因运动导致的图像不完整问题，通过物理原理嵌入模型提高诊断准确性，可应用于早期胎儿脑部异常检测。

AI 导读Kling AI推出视频生成器4.0版本，支持30秒视频片段、10个关键帧图像输入，提示词理解扩展至8000 tokens。与Wan 3.0和Seedance 2.5的对比显示，Kling 4.0表现相当但未领先，这可能表明AI视频模型的快速发展速度开始趋于平缓。

AI 选稿理由Kling 4.0通过立体声音频和多语言口型同步技术提升了视频生成的真实感，同时提供轻量Flash变体满足不同性能需求，为内容创作者提供更灵活的工具选择。

AI 导读2026年10月9日，AWS宣布TwelveLabs的Pegasus 1.5视频语言模型已在Amazon Bedrock上线。该模型可将长视频转换为带时间戳的结构化元数据，支持基于用户定义条件匹配视频片段，并引入视频分段、多模态提示和即时处理功能，无需预索引即可直接分析Amazon S3中的视频，数据保持在AWS边界内。

AI 选稿理由Pegasus 1.5解决了视频内容难以搜索和利用的痛点，通过结构化元数据提取和多模态理解，使企业能高效分析长达两小时的视频内容，无需复杂预处理流程。

AI 导读NVIDIA与欧洲广播联盟(EBU)合作扩展主权媒体框架，整合云服务、开放模型和集成商，确保广播机构数据主权和安全。Adobe Frame.io采用NVIDIA GPU加速技术，使德国UFA公司视频搜索速度提升5倍，处理效率提高4倍，帮助编辑快速查找15年前的视频片段。

AI 选稿理由解决了媒体行业大规模视频内容检索效率低的瓶颈，广播机构和内容制作商可通过AI加速技术实现毫秒级视频搜索，大幅提升内容制作效率。

AI 导读Anthropic承诺将5%股权用于公共利益基金，支持AI对经济和劳动力的影响；OpenAI测试新Aurora图像模型；Anthropic报告初级技术招聘比例下降，员工使用Claude提高生产力但监督工作增加；DeepSeek发布Search & Fetch API和DeepSeek-V4.1-Flash-1017模型；Replit将默认AI提供商更换为OpenAI；Stack Overflow for Agents通过ChatGPT插件实现用户量三倍增长；Qualcomm预测2028年手机将运行1000亿参数模型。

AI 选稿理由Anthropic设立首个AI公共利益基金，DeepSeek-V4.1-Flash-1017显著提升推理与编码能力并降低KV缓存占用，Replit和Stack Overflow的AI集成实践展示产业应用变化。

AI 导读Jack Clark在IMF曼谷会议上发表演讲，认为AI已开始自主进行前沿科学研究，奇点已经到来。他列举了AI在数学、生物学、机器人学等领域的突破性进展，如AI解决理论物理问题得分98%超过人类专家。他预测这将加速科学进步，带来经济变革，但也需警惕风险。各国应建设基础设施以利用AI科学能力，同时制定规则确保安全。

AI 选稿理由AI已开始自主进行前沿科学研究，在多个学科取得突破性进展，将加速全球科学进步并带来经济变革，但也需警惕风险并制定相应规则。

AI 导读研究分析了两个扩散模型在10项任务中的表现，发现模型生成每个token所需的前向传递次数因任务而异：复制或轻度编辑文本成本低，开放式写作成本高。输出中相对于输入的新内容比例和词的稀有性是影响成本的关键因素。多语言生成中，高token化语言需要更多传递次数。此外，错误答案比正确答案需要更多传递，按解码速度加权候选答案比多数投票高4.2分。

AI 选稿理由研究揭示了扩散语言模型计算效率与输出内容创新度之间的关系，为优化推理效率和可靠性提供了实用信号。

AI 导读论文提出 PhysSkin++，从静态几何学习连续的神经蒙皮场，构建紧凑的形变子空间。其神经蒙皮场自编码器无需逐物体训练即可预测依赖形状的子空间，并用物理信息自监督学习替代仿真轨迹，结合蒙皮场归一化与冲突感知梯度修正来稳定联合优化。该方法支持带用户控制与接触的降阶动力学，可直接绑定网格、点云和 3D Gaussians；在给定 rig 动画时另用自监督互补目标学习弹性响应。实验显示，学到的蒙皮场能跨形状泛化，并实现实时降阶仿真。

AI 选稿理由提出不依赖逐物体训练和仿真轨迹的神经蒙皮场学习框架，可跨形状泛化到网格、点云与 3D Gaussians 并做实时降阶仿真，属图形学与物理动画方向的具体方法进展。

AI 导读论文评测4个模型家族的19个模型在8个多模态基准（9个评测切分）上的表现，每个模型回答29,386个问题，共558,334次模型-问题评测。逐题成对分析发现375个子任务-模型对组合呈逆向扩展，涉及4,342个独特查询（小模型答对而大模型答错），且在独立开发的架构间复现；13个子任务-数据集对跨多个家族出现逆向扩展，表明现象由任务驱动而非特定模型所致。受影响最严重的领域包括多图像空间推理、视觉感知和大学级STEM知识，部分准确率差距超过20个百分点，而图表理解相对稳健。

AI 选稿理由论文给出视觉语言模型在子任务层面逆向扩展的系统量化证据（19模型、558,334次评测、375个逆向扩展组合），并指出该现象跨架构复现、由任务驱动，提示模型选择应按任务区分。

AI 导读研究团队发布PVBench，从7个领域、46个维度评估生成视频的物理合理性，覆盖指令与语义、行为因果、几何空间、材料与场状态、运动学及机械守恒等。基准含600条提示，其中30%涉及机械臂、人形、四足等具身智能体，并为可计算维度接入6D位姿、尺度、法线等专用视觉模型，避免只靠主观打分；同时支持文生视频与图生视频，并用人工评估校验自动指标。

AI 选稿理由提供了一个把物理合理性拆成可测量维度并配专用视觉模型的视频生成基准，公开600条提示与校准协议，适合评估视频模型而非只看画面观感。

AI 导读研究团队推出OpenDS任务和OpenDS-World基准，评估AI代理在真实开放网络环境中进行多步骤深度搜索的能力。该基准包含200个挑战性任务，涵盖多种信息模态、异构文件格式和交互访问要求。评估显示，最佳模型准确率为39.0%，而人类评估准确率为21.1%。研究揭示了模型在工具协调和长程搜索管理方面的持续挑战。

AI 选稿理由OpenDS-World提供了首个系统评估AI代理在真实开放网络环境中自主深度搜索能力的统一平台，包含200个多模态、异构格式的挑战任务，并揭示了当前模型在工具协调和长程搜索管理方面的显著差距。

AI 导读TRACE 把 EHR、胸片、放射报告和出院小结组织成日级轨迹，用时间注意力区分全局背景与当日事件，并对缺失模态不生成 token；表型引导的对比学习进一步处理疾病分布差异。在 MIMIC-IV、eICU、MIMIC-III 近 18 万次住院上，TRACE 在死亡率、住院时长和再入院共 9 个数据-任务设置中 AUROC 全部最高，ACC 在 8 个设置中最高；消融实验验证注意力掩码与对比学习，轨迹级归因能定位风险相关的住院日与模态。

AI 选稿理由提出了按天建模住院多模态轨迹并允许缺失模态不生成 token 的方法，在三个公开队列共约18万次住院的九项预测设置上取得最高 AUROC，并给出消融与归因验证。

AI 导读扩散式视频抠像受算力限制，每次只能处理6至24帧，跨分块边界易出现边缘闪烁和透明度不连续。VideoMaMa++把RGB与掩码作为独立Token流，经全时空自注意力自适应融合，并引入可学习的保留Token与细化Token，配合滑动窗口推理把已生成抠像传播到下一分块，同时用全局参考锚点防止长序列误差累积，无需额外训练。在标准基准和真实长视频上，其细节精度与时序一致性均优于此前扩散方法。

AI 选稿理由论文针对扩散视频抠像的分块不一致问题提出可复用方法，并在标准基准和长视频上报告了跨边界一致性结果，适合作为视频生成/编辑方向的技术简报。

AI 导读研究团队提出MMedAgent-Plus，用视觉语言规划器统一调度18个专科模型，覆盖12项任务、8种模态。规划器在32个公开医疗基准的208,928个样本上指令微调；单工具多轮、多工具多轮、多工具单轮的调用准确率分别为91.0%、98.1%、80.7%。端到端在7项任务的350例中正确调用专科模型占90.6%，最终答案准确率0.98，最强基线为0.28。

AI 选稿理由给出多模态医疗Agent的工具调用准确率与端到端结果，并保留评测任务、样本量和基线对照，可作为医疗Agent工具编排的参考数据。

AI 导读研究团队构建统一数据管线，把机器人操作录像自动标注、并与多来源视觉数据一起转为可验证的定位监督，约150万样本微调Qwen3.5-9B得到ACE-Brain-0.6。在7项公开定位基准上，该模型以四项胜出、平均分75.41超过GPT-6 Astra的73.68；固定微调方案下，随训练数据覆盖更多定位场景，聚合成绩稳步提升。

AI 选稿理由开放9B模型以可验证空间定位监督在7项公开基准均分上超过GPT-6 Astra，且给出数据扩展与得分同步提升的受控结果，适用于具身操作的空间感知环节。

AI 导读研究团队提出 Ropedia W0，首个覆盖人类与多种机器人本体的自我中心移动操作世界基础模型。其数据 Xp-Data 含 1 万小时人类数据与 3 千小时机器人数据，用统一运动学表征编码相机位姿与投影骨架。在 DreamDojo、Ψ_0、ω-HOME、Xp-Teleop、AgiBot 五个跨本体基准及留出人类视频上取得最优结果，蒸馏后支持实时分钟级推演与 VR 交互。

AI 选稿理由首次给出跨人-机本体的移动操作世界基础模型，并构建 1.3 万小时统一标注数据和 Xp-Teleop 基准，在多基准取得最优，蒸馏后支持实时推演，为具身决策提供可复用的数据与评测基础。

AI 导读论文指出，GUI代理若在每一步都均匀输入截图、音频、视频、交互历史和设备状态等全模态信息，无关信号会随步骤变化成为干扰，误差回传会造成“序列分心”和轨迹漂移。为此作者提出FocusGUI，以步骤特定的决策参考动态压缩最相关证据为隐表示，注入冻结解码器的嵌入，仅用动作监督训练。在四个全模态骨干上平均Type Match提升33.2、Exact Match提升3倍。

AI 选稿理由提出只有动作监督训练、无需相关性标注与骨干微调的轻量适配器，给出四个全模态骨干上的Type Match与Exact Match量化提升，属全模态GUI代理方法进展。

AI 导读谷歌Gemini 4 Argon的四个AI代理首次在没有人类帮助的情况下自主完成Minecraft游戏，成功击败末影龙。这些代理没有预设角色或策略，自主协调编写了2,783个程序，交换了229条聊天消息，死亡605次，整个会话成本为1,620美元。

AI 选稿理由展示了多AI代理系统在没有人类干预的情况下完成复杂协作任务的能力

AI 导读据消息人士透露，Anthropic正在咨询律师事务所关于谈判策略，同时开发能够代表人类进行谈判并与AI系统互动的智能体。科技公司在机器代表人类行动时，被迫面对谈判规则问题。

AI 选稿理由这是AI代理首次被明确开发用于代表人类进行商业谈判，标志着AI在商业决策中的角色扩展。

AI 导读麻省理工学院的研究人员创建了一个多模态 AI 模型，该模型结合了 3D 原子结构和自然语言描述，以从实验研究论文和第一原理计算数据库中创建关于结构的丰富语言描述。该模型能够识别比仅使用文本流训练的模型更好的材料设计，并展示了其在新材料发现和材料科学中的应用潜力。

AI 选稿理由该模型通过结合 3D 原子结构和自然语言描述，解决了现有 AI 模型在处理材料数据时的局限性，有助于加速材料科学的发展。

AI 导读研究团队提出CoworkEnv框架，用于合成AI协作伙伴的训练环境。该框架通过工作流要求指导任务构建，并使用程序验证和反馈修复检查生成规范和评分行为。研究团队使用这些资源训练了紧凑的PocketWorker模型，在Qwen3-VL-8B-Instruct模型上，监督微调(SFT)使Claw-Eval平均分从46.6提升至64.1，多回合任务得分提高31.9分。

AI 选稿理由CoworkEnv解决了AI协作伙伴训练环境构建的复杂性问题，为多轮对话、工具协调和工作流约束下的AI训练提供了可复用的框架和方法。

AI 导读多轮图像编辑旨在根据一系列指令修改图像，以实现更有效的交互式视觉内容创作。然而，现有方法在经过几次编辑后往往会出现明显的漂移，表现为视觉质量不稳定和图像内容不一致。为了解决这些问题，研究人员提出了MT Forcing，这是一种基于自回归扩散和统一多模态模型（UMMs）的新型多轮图像编辑训练范式。具体来说，他们提出了单轮分布匹配蒸馏（Single-Turn DMD），通过一个在单轮中对源图像进行累积编辑的教师来监督学生的自滚动，提供视觉质量指导，避免递归错误累积。此外，他们还引入了教师强制指导，在预热期间监督参考轨迹上的历史依赖转换，并在蒸馏期间作为正则化器，鼓励跨轮内容一致性。广泛的实验表明，这种方法显著提高了UMMs的多轮图像编辑能力，实现了更稳定的视觉质量和更强的跨轮一致性。

AI 选稿理由MT Forcing通过引入新的训练范式和指导策略，解决了多轮图像编辑中的视觉质量不稳定和内容不一致的问题，提高了UMMs的多轮图像编辑能力。

AI 导读研究提出Temporal Chain of Video Primitives (TCoVP)，一种时空视频推理分割方法，将查询相关观察组织成时间顺序推理链，将实体引用与时间支持和时间戳空间证据关联，用于视频掩码预测。通过TCoVP-SFT-15k和TCoVP-RL-13k数据集进行监督微调和链对齐强化学习，在五个VRS基准测试和三个模型骨干上展示强大性能，所有模型和代码将公开。

AI 选稿理由解决了视频推理分割中语言推理与视觉证据之间的差距，通过时空推理链提升目标识别和掩码预测准确性

AI 导读研究者发布BiDex-100仿真基准，含106个双手灵巧操作任务，按泛化、指令跟随、少量演示、长程与记忆五轴组织，每个任务配一个受控视觉和空间变化的域外变体以测鲁棒性。基准支持两种本体，提供8080条经成功校验的遥操作演示、共625万帧，并用统一协议评测七个近期视觉-语言-动作模型，建立能力特异性、鲁棒性与数据效率基线。

AI 选稿理由首个面向双手灵巧操作的大规模仿真评测集，用106个任务、域外变体和八字数据集，为七个VLA模型建立按能力、鲁棒性和数据效率划分的基线。

AI 导读研究提出 Painting Change Map，用 RGB 编码记录1000步内的归一化结构变化，同时控制“在哪画”和“何时画”，可引导正向绘制与反向“取消绘制”。基准测试中优于现有控制基线，与先进绘画方法持平或更好；在 oracle 条件下显著超过所有基线。代码已开源。

AI 选稿理由提出可精细控制绘画视频时空演变的新条件机制，并在标准基准上给出相对现有控制方法的量化比较，适用于数字艺术生成研究。

AI 导读论文提出HumanoidPose框架，将视觉作为本体感觉，仅从视频恢复人形机器人在世界空间中的全身关节构型。该方法把预训练人体姿态特征与机器人运动学统一到一个模型中，将人体动作重定向到16种不同人形机器人本体上，完全依赖合成数据进行可扩展学习，并利用无标注在线视频自训练出2D机器人姿态检测器以提升真实场景泛化。评测显示，在三个真实人形机器人平台上，其关节角度与关节位置精度均优于基线，关节角度误差较各平台最佳基线降低18-32%，并改善了全局定位与对未见本体的泛化能力。

AI 选稿理由提出从视频估计人形机器人全身关节构型的新框架，在三个真实人形平台的实验中将关节角度误差较最佳基线降低18-32%，并支持从在线与生成视频中提取机器人动作。