#多模态.

AI 导读Block公司推出Dessa语音模型，直接处理音频而非先转文本，可实时识别情绪、讽刺和停顿。该模型在MacBook Pro M4 Max上本地运行，但目前尚未公开。

AI 选稿理由Dessa模型通过直接处理音频而非文本，实现了对情绪、讽刺和停顿的实时识别，为文本模型无法捕捉的语音情感分析提供了新方法。

AI 导读月之暗面发布Kimi K3.1 Pro，2.8万亿参数模型在Artificial Analysis智能指数中排名第四，得分55，接近Fable 5.1。模型支持百万Token上下文，在代码、3D创作和长程Agent任务中表现优异，计划11月4日开放权重。同时推出Highspeed API，输出速度提升2-3倍，价格翻倍。独立评测显示其在网络安全测试中得分64%，为公开最高。

AI 选稿理由Kimi K3.1 Pro成为首个接近Fable-5.1级性能的开放权重模型，缩小了中美模型差距，并在网络安全领域取得突破性进展。

AI 导读Google Research与合作伙伴开发AI工具用于结核病筛查，通过胸部X光检测TB，已在六个国家的40家医疗机构部署，筛查时间从数周缩短至45秒内。团队开源了MedGemma多模态模型和MedSigLIP视觉-语言模型，支持本地部署和临床推理，并与印尼卫生部合作开发国家TB筛查方案，还开发了基于咳嗽声的HeAR声学筛查工具。

AI 选稿理由提供结核病筛查AI工具的实际部署结果和开源模型，适用于全球医疗资源匮乏地区的TB筛查。

AI 导读AWS发布多轮强化学习(MTRL)技术，通过Amazon SageMaker AI训练模型处理需要多步决策的任务。以Wordle游戏为例，使用GPT-OSS-20B模型，在默认推理能力下将解决率从61%提升至84%，低推理能力下从15%提升至69%，训练成本约339美元。该技术适用于企业内部多步骤任务，如工作流程自动化，无需指定正确路径，只需对最终结果评分。

AI 选稿理由提供了一种新的强化学习方法，通过单次奖励信号训练模型完成多步任务，适用于企业内部特定工作流程的AI能力提升。

AI 导读Meta发布多模态模型Muse Wonder和Spark，OpenAI为青少年版ChatGPT推出新功能，Reflection与Nvidia合作推出新模型Beam，华中科技大学开发TurboVLA系统。

AI 选稿理由Meta发布了多模态模型Muse Wonder和Spark，OpenAI为青少年版ChatGPT推出新功能，Reflection与Nvidia合作推出新模型Beam，华中科技大学开发TurboVLA系统，这些进展在AI领域具有重要意义。

AI 导读研究团队提出FilmFlow框架，可将自然语言指令或参考视频转化为动态3D环境中的可执行相机轨迹。该系统由导演智能体和三个专业智能体（解释器、侦察员、评论员）组成，支持空间推理、时间协调和视觉构图。研究团队还创建了CinemaBench基准数据集，包含150个Blender场景和750个文本指导任务，FilmFlow在基准测试中表现最佳并获用户最高偏好。

AI 选稿理由FilmFlow提供了将自然语言或视频参考转化为3D电影摄影轨迹的完整框架，并创建了专用基准数据集，适用于影视制作和虚拟内容创作领域。

AI 导读研究提出EdenGNN模型，可同时预测电荷密度和增强占据数，实现投影增强波精度下的电子结构计算。通过基展开公式和Δ学习策略，计算速度提高一个数量级以上。基于Materials Project数据库训练的EdenGNN-Uni模型，能准确预测周期表中大多数未见材料的能带结构，展现出比通用ML哈密顿方法更强的鲁棒性。

AI 选稿理由EdenGNN模型实现了电荷密度预测的显著加速，并首次实现了跨周期表元素的通用电荷密度预测，为大规模电子结构计算和高通量筛选提供了可扩展的从头算方法。

AI 导读研究团队提出F2G-Pose框架，通过单次前向预测从RGB-D观测中直接估计物体3D姿态、度量尺寸和相机坐标系下的完整形状。该方法将密集视觉基础特征提升到部分点云，使用DGCNN标记编码局部几何，并通过专家混合Transformer整合物体级结构。在SOPE和ROPE基准上达到最先进精度，姿态推理速度达28 FPS，并在HouseCat6D和HANDAL数据集上展示了强几何性能和真实物体迁移能力。

AI 选稿理由F2G-Pose实现了实时单次前向预测的类别级物体姿态估计，在保持高精度的同时解决了现有方法在可靠性和效率之间的平衡问题。

AI 导读MIT历史本杰明·林德奎斯特教授在《过去与现在》期刊发表论文，追溯AI幻觉的起源至20世纪50年代早期工程师的研究。这些工程师认为，为使机器能像人类一样思考，必须注入一定程度的非理性。早期神经网络通过随机性模拟人类创造力，而现代AI系统已被'打磨'以减少意外输出，但创造力与可预测性之间存在必然权衡。

AI 选稿理由揭示了AI发展历史中创造力与可预测性之间的权衡关系，以及早期工程师对AI系统设计的根本性思考。

AI 导读研究团队提出视频中心深度研究报告生成任务，给定视频和用户请求，智能体可识别研究问题、检索外部多模态证据并生成交互式报告。该任务包含50个中英文任务，覆盖19个现实子类别，共6414项评估标准。测试显示最佳系统得分为63.3分，当前智能体仍需提升内容覆盖度、跨模态因果逻辑分析能力和引用准确性。

AI 选稿理由新增视频中心深度研究报告生成基准OmniDR-Bench，包含50个中英文任务和6414项评估标准，为视频内容研究提供标准化评估框架。

AI 导读研究团队提出SkeLAM模型，通过骨架监督分解潜在动作为运动学成分和残差成分，在DROID数据集上相比DreamDojo减少末端执行器平均位移误差19.5%，LPIPS降低11.1%，支持零样本人机动作迁移和预测成功率与实际执行一致。

AI 选稿理由SkeLAM通过骨架监督分解潜在动作，提高了机器人世界模型的控制精度和动作迁移能力，在DROID基准上取得显著性能提升。

AI 导读研究团队推出AgentVQA基准，从23个数据集中精选1000个真实世界代理场景，涵盖Web代理、机器人、第一人称视频、游戏和空间规划五个领域。测试显示，22个模型中最佳准确率仅为58.5%，主要错误源于无法准确定位UI元素、解释运动、跟踪状态变化和推断3D空间关系，而非任务理解或逻辑推理问题。

AI 选稿理由AgentVQA提供了首个跨领域代理视觉理解离线基准，解决了在线评估成本高、难以扩展的问题，为模型比较提供可靠依据。

AI 导读研究团队提出Verus-Insight框架，将伪影检测系统化为检查规划、证据验证和证据聚合三个互补能力。该模型通过人类锚定的全过程监督和渐进式能力训练，在细粒度伪影分析和AI视频检测方面表现出色，显著提升了人类感知伪影的恢复能力。同时发布Verus-Bench基准，提供细粒度人类标注的感知伪影用于评估检测性能。

AI 选稿理由Verus-Insight通过结构化三阶段能力设计，显著提升了AI生成视频中细粒度伪影检测的准确性和可解释性，适用于视频内容真实性验证领域。

AI 导读研究团队提出AnyGameRenderer，一种视频到视频的生成渲染器，可将AI编程代理生成的简单游戏（如灰色块状、几何图形）转换为高质量视觉效果，同时保持布局、相机和每个实体的位置与时间不变。该模型通过LoRA微调MiniMax-H3 ref2va（33B参数）实现，支持多种游戏类型输入，并在实体级基准测试中，时间匹配率从50.9%提升至62.9%，漏检计数变化从34.7%降至21.3%。

AI 选稿理由AnyGameRenderer解决了AI生成游戏视觉效果差的问题，通过实体一致渲染技术提升游戏质量，适用于多种游戏类型，并提供了新的实体级评估基准。

AI 导读这篇综述把视频基础模型与世界模型放在同一框架下考察：把观测视频视为潜在时序世界的部分、有损且按时间排列的投影，并用读、写、共享、交互四类操作组织文献。作者区分观测或生成序列的时序连贯性与底层世界状态的一致性，梳理研究重点从片段级识别和感知保真度转向持久状态、可控演化、物理与因果有效性。

AI 选稿理由用世界建模统一框架系统性梳理视频理解与生成文献，并提出读/写/共享/交互四类操作与持久状态等评测方向，为视频世界模型研究提供可复用的分类视角。

AI 导读研究提出 Factor-Aware Predictive Learning（FAPL），把有效利用 MLLM 潜变量作为共同前提，再用互补学习信号分别实现要素感知控制与稀疏输入下的时间推断。方法含三步：冻结 MLLM 仅靠潜变量训练 DiT；用成对视频做要素跨度替换；以文本、完整视频共享目标并冻结 DiT 反训 MLLM。实验在稀疏到视频、要素感知编辑和多镜头生成三个任务上均优于基线。

AI 选稿理由论文给出让 DiT 真正利用 MLLM 潜变量、并同时控制角色/场景/动作/相机的三阶段训练方法，在三个电影级视频生成任务上验证有效。

AI 导读研究团队提出Easy-3Dfy工作流，将对象生成与场景布局估计解耦，通过RPF对齐器建立对象局部网格与场景点云之间的几何对应关系，无需完整场景级监督即可在Scene-Maker和3D-FUTURE200数据集上超越SAM-3Dfy的多个几何指标。

AI 选稿理由Easy-3Dfy通过显式几何组合有效结合高质量对象生成与强空间理解能力，使工作流能独立受益于3D对象生成和基础模型的进步。

AI 导读Anthropic邀请生命科学社区成员申请合作项目，使用Claude研究因果人类生物学、结构计算分子生物学、药物化学等领域。客座研究员将与Anthropic研究人员直接合作8-12周，免费使用模型和工具，共同发表研究成果并开源数据代码。申请人需说明如何从合作中获益，并承诺在短期内产出初步成果。

AI 选稿理由为生命科学研究者提供免费AI模型访问和直接合作机会，加速生物学领域研究进展。

AI 导读Amazon Polly生成式引擎升级后提供更自然、准确的语音输出，新增14种语音覆盖9个地区，首次正式支持印地语和芬兰语。现有应用无需修改代码即可使用升级后的语音，支持低延迟流式传输和SSML标记控制，适用于呼叫中心、媒体娱乐、电子学习和无障碍应用等多种场景。

AI 选稿理由新增14种语音和两种新语言支持，提供更自然准确的语音输出，无需代码修改即可升级。

AI 导读AWS发布解决方案，通过在Amazon SageMaker AI上部署Kokoro-82M文本转语音模型，实现AI语音代理的句子级流式合成。该方法将语音合成延迟降低52.4%，在端到端测试中提升2.4-3.5倍响应速度，同时解决了传统方案中音频传输负载增加33%和帧对齐问题。

AI 选稿理由提供具体技术方案降低AI语音代理延迟，包含实测性能数据和优化方法，适用于需要实时语音交互的AI应用场景。

AI 导读微软研究院推出Flint-interactive，这是一种基于Flint的交互式数据可视化语言。它允许用户和AI代理通过点击、过滤、缩放、高亮和跨图表交互来探索数据可视化。该语言使用高级语义事件和更新操作符，简化了复杂交互的构建，并通过编译器处理交互逻辑和视觉依赖，提高了可靠性和开发效率。Flint-interactive支持创建交互式数据故事、仪表板和连接体验，使一个视图中的操作可以更新另一个视图中的图表、文档、小部件或应用程序状态。

AI 选稿理由Flint-interactive提供了一种高级语言来简化交互式数据可视化的创建，解决了传统方法中布局、渲染和调试的挑战，使AI代理能够生成更可靠、更丰富的交互式图表。

AI 导读研究团队提出ToM2Vec方法，通过固定数量的连续推理标记在丰富潜在空间中学习形成抽象心智理论。这些标记在训练时从合作伙伴的实际思想中获取监督，在测试时作为智能体思想和行动的条件器。在协作、竞争和混合动机环境中的测试显示，ToM2Vec在多智能体交互和协作方面持续优于基线和竞争性训练模型，且潜在推理至关重要，当推理以文本表达时性能下降。

AI 选稿理由ToM2Vec通过连续推理标记解决了大语言模型智能体在不确定环境下形成准确心智理论的挑战，在多种环境中提升了多智能体协作能力。

AI 导读研究者提出了一种名为SERA（自我进化机器人代理）的方法，通过一个可编辑的约束来组织高级视觉语言动作（VLA）模型，以保持任务上下文并通过执行经验改进规划。在RoboMME测试中，SERA实现了51.38%的成功率，而未进行自我进化的版本为44.38%。这表明，具有代理规划的机器人操作是一个有前景的方向。

AI 选稿理由SERA方法在机器人操作任务中实现了显著的成功率提升，为历史依赖的机器人操作提供了新的思路。

AI 导读研究提出RealMe框架，通过高分辨率视频扩散模型将稀疏低分辨率捕捉增强为2K分辨率、4D一致的体积视频。该模型构建辅助数据并编码为潜在表示，采用分解时空注意力适应多视图捕捉布局，通过潜在频率损失减少生成视频与真实捕捉间的数据差距，在DNA-Rendering基准和自建RealVV数据集上实现视觉保真度和4D一致性超越现有方法。

AI 选稿理由RealMe通过视频扩散模型和潜在频率损失解决了稀疏捕捉生成高质量体积视频的问题，适用于医疗、影视和VR等领域的内容创作。

AI 导读NVIDIA与合作伙伴及欧洲政府合作，将先进模型引入公共部门，提升行政效率并保持数据与基础设施控制权。多个欧洲国家项目采用NVIDIA开放模型，包括波兰医疗影像分析、英国合成数据集、德国数字助手、法国协作工作空间和希腊代理生态系统。NVIDIA还推出Codefest活动，支持将开放模型转化为本地化公共部门解决方案。

AI 选稿理由新增多个欧洲国家公共部门采用NVIDIA开放模型的具体案例，涵盖医疗、就业、数字助手、协作工作空间和代理生态系统等领域，展示了开放模型在公共部门的应用进展。

AI 导读NVIDIA在欧洲推出Earth-2开放AI模型家族，包括针对欧洲的StormScope EU区域模型，可每10分钟更新一次云况预测。AXA、Vaisala Xweather、曼彻斯特大学和TotalEnergies等机构正利用这些模型进行飓风风险评估、短期天气预报、空气质量建模和太阳能预测。Earth-2支持开发者结合多种模型满足区域需求，并提供PhysicsNeMo框架进行定制训练。

AI 选稿理由NVIDIA Earth-2开放模型在欧洲的实际部署案例，展示了AI在气象预测领域的具体应用和定制化能力。

AI 导读欧洲零售商正使用开放模型和物理智能技术，包括Shopify通过后训练模型将推理成本降低90%，Zooplus实现86%搜索准确率，L'Oréal将成分筛选时间从数月缩短至数小时，以及Mirakl处理7000万产品数据。NVIDIA还提供数字孪生技术帮助优化仓库运营和虚拟试衣体验。

AI 选稿理由展示了NVIDIA技术在欧洲零售业的具体应用成果，包括成本优化、准确率提升和效率改进，适用于零售和消费品行业。

AI 导读NVIDIA扩展Cosmos平台，新增训练工具、仿真检查点和Cosmos Data Factory蓝图，帮助开发者构建世界模型。平台提供前沿开源模型、数据、训练和优化工具，支持扩展训练数据、适应模型、测试行为和部署前性能优化。Cosmos Data Factory提供五种云原生蓝图，包括自动驾驶数据集生成、图像属性增强等，已被保时捷、ANYbotics等公司应用，可减少90%重复物理测试，缩短85%开发周期。

AI 选稿理由新增Cosmos Data Factory五种云原生蓝图和具体应用案例，以及Cosmos Framework扩展支持更多开源模型，提供从训练到部署的完整工具链。

AI 导读研究团队推出AW-0框架，将代码规划、未来视频预测和机器人动作控制整合为三个耦合的生成流，在统一transformer架构中实现。通过代码专家生成参数化技能程序，视频和动作专家生成视觉状态和低级指令。在RoboTwin 2.0和双臂操作任务中，该模型在任务性能、语言遵循、语义推理和鲁棒性上超越VLA和WAM基线。

AI 选稿理由AW-0首次将代码规划与视频动作预测整合为统一框架，实现了技能的复用和物理动态预测的结合，在机器人操作任务中展现出显著性能提升。

AI 导读研究者提出 SpatialBrain 框架，在保持视觉语言主干不变的前提下，积累“何时直接观察、何时重建或换参考系”的推理经验。3DFusionMemory 将当前场景观测融合为可查询的空间关系，空间技能库提供可复用工具流程，空间认知把任务条件与使用经验关联起来；完成轨迹被抽象为过程记录并在任务块间整合。在五个空间推理基准上，四个优于同一主干的直接回答，一个持平。

AI 选稿理由它把可复用的推理经验与场景证据分开记忆，在冻结主干下于五个空间推理基准中的四个取得提升，实验范围为五项基准与组件对比。

AI 导读论文将多模态具身智能体定义为把多模态任务推理与物理动作结合、并依据反馈修正决策的系统，提出按功能划分的PAPAV五能力框架：感知状态、预判动作效果、规划可行路径、通过接口或身体执行、验证结果。作者比较了电脑使用智能体、多模态智能体与机器人系统，并指出物理约束——从部分可观测到结果难验证——使可预先固定的选择更少、纠错空间更小。在64个基准中，显式评估集中在“执行”，仅5个评估“预判”、3个评估“验证”。

AI 选稿理由论文提出统一的五能力框架，并用64个基准的统计指出预判与验证能力在评测中严重缺位，为具身智能体的评估设计提供了可复用的分析框架。

AI 导读研究者提出视觉状态编码器 ALPS，仅用静态图像与文本，以语言、重建和空间对应目标从零预训练 ViT-B/16，再用跨视角自蒸馏精调。在15个公开编码器的统一评测中，ALPS 的 LIBERO 状态探针聚合误差在 ViT-B 模型中最低，追平体积大3.5倍的 V-JEPA 2-L；冻结特征配合原生文本塔在 LIBERO 上策略平均成功率85.5%，在 PushT、Wall、Granular 的世界模型规划中持平或超过领先编码器，预测的未来 token 可直接解码成像素。

AI 选稿理由提出一种同时具备物理状态、语言对齐和像素重建能力的视觉预训练编码器，在15个编码器对比中刷新ViT-B级状态探针误差，并报告LIBERO策略成功率与世界模型规划结果。

AI 导读研究提出 RubatoCodec，基于 X-Codec-2 实现可变帧率语音编解码，并用 Adaptive Firing 依据特征与波形频谱把语音切成时长可变的事件，每个事件由离散码加显式时长表示，可逐个事件流式解码。低事件率下重建保真度和可懂度优于定帧率；多语种模型在英、日、汉语上重建质量有竞争力，英日基准可懂度最佳；配套 TTS 的 WER 更低、UTMOS/UTMOSv2 更高，且无需生成时速率约束即可学会事件预算。代码与权重已开源。

AI 选稿理由给出确切 utterance 级事件预算的可变帧率语音编解码与流式解码，并配套 TTS 实验验证，适用范围为语音重建与流式语音合成研究。

AI 导读论文指出，在教师强制下，自回归视频扩散模型容易依赖局部视觉连续性来去噪当前片段，未必真正学会场景如何演变。作者提出 Future Chunk Prediction（FCP）：在教师强制去噪之外，同时预测与当前相隔一段时间、且看不到中间视觉上下文的片段。该方法直接从训练视频取监督，不需要额外的预训练视觉编码器，也不改变自回归推理。结果显示，在总体训练计算量更低的情况下，其物理合理性优于标准教师强制训练；可视化还显示，表示空间更有结构，作者认为这可能有助于构建自回归世界模型。

AI 选稿理由论文给出可复用的训练目标，删除视觉演变捷径，在不增加推理改动、降低训练算力下提升物理合理性，属视频世界模型研究进展。

AI 导读研究人员提出了Dual Exam，一个用于评估多模态代理和世界模型相互作用的工具。该工具在物理、数字、社会和科学领域测试代理和世界模型，比较了多种配置和案例。GPT 6 Astra和GPT-Image-2在各自的测试中表现突出，但结果揭示了任务性能的不均衡和任务相关状态的保留问题。

AI 选稿理由Dual Exam为多模态代理和世界模型的评估提供了新的方法，有助于理解它们之间的相互作用。

AI 导读研究团队提出HiSTEVE，一种分层VLA代理，通过能力感知代理框架结合长程自主与原生界面控制。该代理在Minecraft中实现85.0%的MineStudio Bench得分和37.4%的OpenHA平均成功率，能像人类玩家一样从零开始制作铁镐。

AI 选稿理由HiSTEVE通过分层架构和特定技术解决了开放世界游戏中长程自主与原生界面控制的整合问题，在Minecraft基准测试中达到最先进性能。

AI 导读研究团队开发了解释性管道，发现视觉-语言-动作(VLA)模型将任务指令编码为绝对坐标程序，导致对物体位置变化的脆弱性。通过激活注入实验，模型在99.6%的案例中执行源任务的轨迹，即使面对不同场景。研究还发现不同架构对指令的权重分配差异，以及目标选择与动作生成的分离机制。团队发布了Action Atlas交互平台，包含520+训练SAEs、79个识别概念及UR10e实验结果。

AI 选稿理由提供了视觉-语言-动作模型的内部工作机制解释，揭示了其脆弱性的根本原因，并开源了可复用的分析工具与数据集。

AI 导读AWS发布技术文章，介绍如何在AWS Trainium上使用torchtitan训练Qwen3模型。文章提供了三种配置方法：使用Transformers v5作为建模后端、使用torchtitan原生Qwen3实现、以及添加Neuron Kernel Interface混合专家内核。所有方法均可在单台trn2.48xlarge实例上运行，支持预训练和微调，并展示了如何加载和保存Hugging Face检查点。

AI 选稿理由提供了在AWS Trainium上训练Qwen3模型的具体技术实现方法，包括三种不同配置的代码示例和性能验证，适用于分布式AI训练和推理工作流的开发者。

AI 导读现有世界模型编码器不随任务调整，容易被与任务无关的视觉细节干扰。ConfigWM 以自然语言任务描述作为配置信号，把视觉嵌入映射到任务专属状态空间，只保留相关信息，再在其中学习动作条件动态用于规划。在干扰逐步增强的环境中，ConfigWM 的规划成功率保持相对稳定，平均超过最强对比方法 22.3%；物理量探测的 Pearson r 提升 0.365，干扰到干净检索提升 75.5%。

AI 选稿理由提出用语言任务描述驱动状态空间配置的世界模型方法，在噪声递增环境中给出规划成功率、物理量探测与检索三类量化结果，属于有实验范围的能力进展。

AI 导读Google Research在《JAMA Network Open》发表前瞻性多中心研究：让未受过超声培训的操作者用低成本便携探头按标准路径盲扫腹部，由AI估算孕龄。385名16–36周孕妇中，AI平均绝对误差4.18天，专家超声测量为4.48天；芝加哥适配后为4.10天，内罗毕零本地优化为4.27天。仅用芝加哥120人约6%训练集的数据微调即适配新探头，并将预测范围扩至36周以上。

AI 选稿理由新增前瞻性多中心临床验证：AI盲扫孕龄评估在低资源与高资源场景均达到与专家操作非劣的4.18天平均误差，且仅需约6%数据微调即可换用新硬件。