多模态

AI 导读论文提出语言条件潜世界模型 LaLa-World，用语言同时描述数值动作和视觉变化，让单个未来预测器在仿真、机器人轨迹及图像视频数据上联合训练。其平均 MPC 规划性能超过按域单独训练的 LWM；与基于 RAEv2 的视频生成基线相比，训练成本少 6 倍、规划快 13.9 倍。作为初始化得到的 LaLa-Policy 在 LIBERO 和 RoboCasa 上与 Cosmos Policy 竞争力相当，推理最高快 5.5 倍。

AI 选稿理由提出语言描述动作与视觉变化的 JEPA 式潜世界模型，在多域数据上联合训练后规划性能提升，并给出相对视频生成基线的训练成本与规划速度数据。

AI 导读研究团队推出TARSphere，一个面向具身机器人的全栈框架，可在物理模拟器中运行机器人策略，并使用事件驱动的有限状态机更新任务状态。该框架通过冻结的多模态大语言模型(MLLM)实现多级可执行技能，并构建了包含360个跨30个室内场景的TARSphere-Bench基准测试。评估显示通用模型在特定任务上优于专用具身模型，但任务更新和人机交互仍是挑战。

AI 选稿理由TARSphere提供了评估具身机器人在动态环境中长时程任务的新框架，通过MLLM实现多级技能执行，并首次系统评估了8个MLLM在感知鲁棒性、适应性、人机协调等方面的表现。

AI 导读研究者提出了一种名为SERA（自我进化机器人代理）的方法，通过一个可编辑的约束来组织高级视觉语言动作（VLA）模型，以保持任务上下文并通过执行经验改进规划。在RoboMME测试中，SERA实现了51.38%的成功率，而未进行自我进化的版本为44.38%。这表明，具有代理规划的机器人操作是一个有前景的方向。

AI 选稿理由SERA方法在机器人操作任务中实现了显著的成功率提升，为历史依赖的机器人操作提供了新的思路。

AI 导读研究者提出视觉状态编码器 ALPS，仅用静态图像与文本，以语言、重建和空间对应目标从零预训练 ViT-B/16，再用跨视角自蒸馏精调。在15个公开编码器的统一评测中，ALPS 的 LIBERO 状态探针聚合误差在 ViT-B 模型中最低，追平体积大3.5倍的 V-JEPA 2-L；冻结特征配合原生文本塔在 LIBERO 上策略平均成功率85.5%，在 PushT、Wall、Granular 的世界模型规划中持平或超过领先编码器，预测的未来 token 可直接解码成像素。

AI 选稿理由提出一种同时具备物理状态、语言对齐和像素重建能力的视觉预训练编码器，在15个编码器对比中刷新ViT-B级状态探针误差，并报告LIBERO策略成功率与世界模型规划结果。

AI 导读SplatLab是一个针对3D高斯溅射(3DGS)的自主研究系统，能够复现已发表论文、提出扩展方案、训练模型并撰写论文。该系统在Mip-NeRF 360和LLFF数据集上，其生成的论文在PSNR指标上比复现目标高出+0.18至+3.78dB，其中在天文摄影星云渲染上提升3.78dB，且此前无3DGS方法能处理此类任务。研究周期从数月研究生工作缩短至数天自主计算完成。

AI 选稿理由SplatLab实现了3DGS研究全流程自动化，在PSNR指标上显著超越复现目标，将研究周期从数月缩短至数天，并首次实现天文摄影星云渲染的3DGS方法。

AI 导读论文指出，在教师强制下，自回归视频扩散模型容易依赖局部视觉连续性来去噪当前片段，未必真正学会场景如何演变。作者提出 Future Chunk Prediction（FCP）：在教师强制去噪之外，同时预测与当前相隔一段时间、且看不到中间视觉上下文的片段。该方法直接从训练视频取监督，不需要额外的预训练视觉编码器，也不改变自回归推理。结果显示，在总体训练计算量更低的情况下，其物理合理性优于标准教师强制训练；可视化还显示，表示空间更有结构，作者认为这可能有助于构建自回归世界模型。

AI 选稿理由论文给出可复用的训练目标，删除视觉演变捷径，在不增加推理改动、降低训练算力下提升物理合理性，属视频世界模型研究进展。

AI 导读论文将多模态具身智能体定义为把多模态任务推理与物理动作结合、并依据反馈修正决策的系统，提出按功能划分的PAPAV五能力框架：感知状态、预判动作效果、规划可行路径、通过接口或身体执行、验证结果。作者比较了电脑使用智能体、多模态智能体与机器人系统，并指出物理约束——从部分可观测到结果难验证——使可预先固定的选择更少、纠错空间更小。在64个基准中，显式评估集中在“执行”，仅5个评估“预判”、3个评估“验证”。

AI 选稿理由论文提出统一的五能力框架，并用64个基准的统计指出预判与验证能力在评测中严重缺位，为具身智能体的评估设计提供了可复用的分析框架。

AI 导读研究团队推出AW-0框架，将代码规划、未来视频预测和机器人动作控制整合为三个耦合的生成流，在统一transformer架构中实现。通过代码专家生成参数化技能程序，视频和动作专家生成视觉状态和低级指令。在RoboTwin 2.0和双臂操作任务中，该模型在任务性能、语言遵循、语义推理和鲁棒性上超越VLA和WAM基线。

AI 选稿理由AW-0首次将代码规划与视频动作预测整合为统一框架，实现了技能的复用和物理动态预测的结合，在机器人操作任务中展现出显著性能提升。

AI 导读研究提出 RubatoCodec，基于 X-Codec-2 实现可变帧率语音编解码，并用 Adaptive Firing 依据特征与波形频谱把语音切成时长可变的事件，每个事件由离散码加显式时长表示，可逐个事件流式解码。低事件率下重建保真度和可懂度优于定帧率；多语种模型在英、日、汉语上重建质量有竞争力，英日基准可懂度最佳；配套 TTS 的 WER 更低、UTMOS/UTMOSv2 更高，且无需生成时速率约束即可学会事件预算。代码与权重已开源。

AI 选稿理由给出确切 utterance 级事件预算的可变帧率语音编解码与流式解码，并配套 TTS 实验验证，适用范围为语音重建与流式语音合成研究。

AI 导读研究提出RealMe框架，通过高分辨率视频扩散模型将稀疏低分辨率捕捉增强为2K分辨率、4D一致的体积视频。该模型构建辅助数据并编码为潜在表示，采用分解时空注意力适应多视图捕捉布局，通过潜在频率损失减少生成视频与真实捕捉间的数据差距，在DNA-Rendering基准和自建RealVV数据集上实现视觉保真度和4D一致性超越现有方法。

AI 选稿理由RealMe通过视频扩散模型和潜在频率损失解决了稀疏捕捉生成高质量体积视频的问题，适用于医疗、影视和VR等领域的内容创作。

AI 导读研究团队提出FRED框架，通过自蒸馏方法改进World Action Models(WAMs)中未来视频表示的质量。该框架利用真实未来观测作为目标，从噪声中预测未来表示，并结合历史观测提供时间上下文。在多样化实际操作场景中，FRED在长时程和跨域任务上显著优于现有WAMs，将人类到机器人的技能转移成功率从19.4%提升至50.0%。

AI 选稿理由FRED框架通过自蒸馏方法显著提升了机器人未来视频表示质量，在长时程和跨域任务上实现零样本泛化，并大幅提高人类到机器人的技能转移成功率。

AI 导读研究提出前馈模型 Foundation4D，用共享骨干和分解式时空注意力，从多相机驾驶视频同时完成几何估计、3D 检测、语义占用与高斯重建；视频推理用位姿图优化细化相机轨迹并拼接目标轨迹。团队还发布含 1253 段驾驶片段的 PAI-Foundation4D 基准。按基准微调后，在 Waymo 和 nuScenes 取得最低深度 AbsRel，nuScenes 检测 mAP 最高，OpenOccupancy 占用 mIoU 最高。联合训练使检测 top-class mAP 提升 1.2 点，几何与检测共训把相机到支架平移误差降低 13.4%。预测几何与轨迹还作为无激光雷达 NuRec 的先验。

AI 选稿理由新论文给出多任务驾驶感知与重建的统一前馈模型，并在 Waymo、nuScenes、OpenOccupancy 报告深度、检测、占用指标及联合训练增益，附 1253 段驾驶片段的标注基准。

AI 导读NVIDIA 发布 Cosmos3-H-Dreams，基于 160 亿参数 Cosmos3-H-Embodied-Nano，利用 CMR Surgical Versius 平台临床胆囊切除视频与机器人运动学训练。模型采用 28 维动作控制，提供四步与两步蒸馏检查点，搭配 FlashDreams 流式推理，可在单张 RTX PRO 6000 GPU 上实时运行，并支持适配自有数据与控制器。

AI 选稿理由首次展示基于临床胆囊切除录像训练、支持实时运动学控制的生成式手术仿真器，并开放四步与两步检查点及教师微调、Self-Forcing 蒸馏流程，适用于手术机器人仿真研究。

AI 导读Octave 为 14000 多家受监管行业客户的质量管理平台 Reliance 构建了多租户 AI 基础。团队把所有租户的隔离要求作为前提，用 Amazon Bedrock 上的 Cohere Embed v4 完成 20 亿份文档的嵌入，并把向量存储按租户隔离到 OpenSearch Service；执行层通过 Bedrock AgentCore Gateway 和隔离 microVM 调用 Claude，前后两次经过 Bedrock Guardrails 过滤。该基础已将每个用例的部署时间缩短 50%。

AI 选稿理由文章完整给出了受监管 SaaS 平台在租户数据严格隔离、不可信内容进入和超大规模嵌入三方面的解决办法，包括逐租户向量库、按用户权限执行 Agent 和输入与输出双重过滤，可作为同类多租户 AI 平台的工程参考。

AI 导读AWS博客介绍如何使用Denodo平台和Amazon Bedrock AgentCore构建代理式AI应用的语义层，实现对企业多云数据的统一访问。该方案整合了Amazon Aurora、Amazon Redshift和本地PostgreSQL数据库，通过Denodo的VQL语言提供实时数据访问，并通过MCP协议向代理暴露受控视图，确保数据安全与隐私。

AI 选稿理由解决了企业多云数据源整合与安全访问的瓶颈，使AI代理能够实时查询分散在不同环境中的企业数据，无需数据迁移。

AI 导读AWS与Strategy合作，使用Strategy Mosaic作为语义层，通过Amazon Bedrock AgentCore运行Strands代理，实现跨Amazon Redshift和Aurora的客户360视图。该系统支持MCP协议、JDBC/ODBC、XMLA和REST四种原生协议，无需ETL即可连接多种数据源，并实现端到端的行级和对象级安全。

AI 选稿理由解决了企业AI代理跨多数据源进行语义推理的难题，支持实时数据联邦和统一业务指标定义，降低了复杂查询的开发难度。

AI 导读AWS发布技术文章，介绍如何使用AtScale和Amazon Bedrock AgentCore构建语义层，实现代理式AI系统。该方案采用维度模型而非知识图谱，通过语义建模语言(SML)定义模型，同时支持SQL、XMLA和MCP三种协议。系统可确保业务智能工具与代理获得相同计算结果，并支持基于身份的访问控制。

AI 选稿理由该方案解决了企业数据分散导致的跨系统查询难题，通过语义层统一数据定义，使AI代理和BI工具能从同一数据源获取一致结果，同时支持细粒度访问控制。

AI 导读Mistral 推出 Voxtral 3 语音代理 SDK，支持 50 多种语言的实时语音处理，提供精准转录、情感化文本转语音和深度工具调用功能，可选择欧盟托管或本地部署。

AI 选稿理由解决了多语言实时语音交互的精准性和情感表达瓶颈，适用于需要跨语言语音交互的应用场景，提供灵活的部署选项。

AI 导读DeepSeek V4.1 Flash 1017成为开源权重价值领导者，在多个基准测试中表现优异；MiniMax M3.1 Flash以1/3成本和3倍速度发布；Mercury 3被称作迄今为止最强大的扩散LLM；Anthropic宣布将约20%股权投入公共福利基金；美国国土安全部要求联邦机构移除DeepSeek产品；Google开源Harness²框架实现智能体自我改进；Claude Opus 5.5在密码学和量子物理领域取得突破。

AI 选稿理由包含多个模型的具体性能数据、基准测试结果和实际应用案例，以及Anthropic公共福利基金等重大行业动态。

AI 导读巴塞罗那超级计算中心(BSC)的AI工厂加速器项目全面运营，为初创企业提供主权计算资源、技术支持和培训。该项目与NVIDIA Inception计划合作，通过NVIDIA门户提供服务，并计划扩展MareNostrum 5超级计算机以提供更多AI工厂服务。自2025年4月启动以来，已为800多家私营和公共部门客户提供服务。

AI 选稿理由该项目通过NVIDIA加速计算和AI技术，帮助西班牙初创企业在水资源管理、医疗诊断和制药等领域实现突破，推动区域创新和产业升级。