跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

多模态

全部主题
主题资料

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

178 篇文章

最新文章

第 21–40 条 · 共 178 条
10月22日周四
  1. Hugging Face · 每日论文

    DraMaze: 具备未来感知记忆的多智能体微短剧脚本生成管道

    AI 导读针对微短剧脚本生成中情节多样性和长程叙事连贯性的挑战,研究提出DraMaze多智能体管道,通过类型记忆引导的进化树搜索和变异探索多样化因果路径,并构建反向叙事依赖树组织历史记忆。实验表明,在60k词60集脚本中,DraMaze将因果模式重复率降低32.1%,逻辑得分达82.5,超越最佳基线8.5分。

    AI 选稿理由DraMaze通过多智能体管道和未来感知记忆机制,显著提升了微短剧脚本生成的多样性和逻辑连贯性,为长篇叙事内容创作提供了新方法。

  2. Hugging Face · 每日论文

    AgentVQA:统一基准测试评估视觉语言模型在代理场景中的表现

    AI 导读研究团队推出AgentVQA基准,从23个数据集中精选1000个真实世界代理场景,涵盖Web代理、机器人、第一人称视频、游戏和空间规划五个领域。测试显示,22个模型中最佳准确率仅为58.5%,主要错误源于无法准确定位UI元素、解释运动、跟踪状态变化和推断3D空间关系,而非任务理解或逻辑推理问题。

    AI 选稿理由AgentVQA提供了首个跨领域代理视觉理解离线基准,解决了在线评估成本高、难以扩展的问题,为模型比较提供可靠依据。

  3. Hugging Face · 每日论文

    FilmFlow:面向3D虚拟电影摄影的智能体系统

    AI 导读研究团队提出FilmFlow框架,可将自然语言指令或参考视频转化为动态3D环境中的可执行相机轨迹。该系统由导演智能体和三个专业智能体(解释器、侦察员、评论员)组成,支持空间推理、时间协调和视觉构图。研究团队还创建了CinemaBench基准数据集,包含150个Blender场景和750个文本指导任务,FilmFlow在基准测试中表现最佳并获用户最高偏好。

    AI 选稿理由FilmFlow提供了将自然语言或视频参考转化为3D电影摄影轨迹的完整框架,并创建了专用基准数据集,适用于影视制作和虚拟内容创作领域。

  4. Anthropic · 官方新闻

    Anthropic开放生命科学领域客座研究员申请

    AI 导读Anthropic邀请生命科学社区成员申请合作项目,使用Claude研究因果人类生物学、结构计算分子生物学、药物化学等领域。客座研究员将与Anthropic研究人员直接合作8-12周,免费使用模型和工具,共同发表研究成果并开源数据代码。申请人需说明如何从合作中获益,并承诺在短期内产出初步成果。

    AI 选稿理由为生命科学研究者提供免费AI模型访问和直接合作机会,加速生物学领域研究进展。

  5. Hugging Face · 每日论文

    综述:以世界建模统一视角审视视频理解与生成

    AI 导读这篇综述把视频基础模型与世界模型放在同一框架下考察:把观测视频视为潜在时序世界的部分、有损且按时间排列的投影,并用读、写、共享、交互四类操作组织文献。作者区分观测或生成序列的时序连贯性与底层世界状态的一致性,梳理研究重点从片段级识别和感知保真度转向持久状态、可控演化、物理与因果有效性。

    AI 选稿理由用世界建模统一框架系统性梳理视频理解与生成文献,并提出读/写/共享/交互四类操作与持久状态等评测方向,为视频世界模型研究提供可复用的分类视角。

  6. Hugging Face · 每日论文

    Verus-Insight:实现AI生成视频中可解释的伪影检测

    AI 导读研究团队提出Verus-Insight框架,将伪影检测系统化为检查规划、证据验证和证据聚合三个互补能力。该模型通过人类锚定的全过程监督和渐进式能力训练,在细粒度伪影分析和AI视频检测方面表现出色,显著提升了人类感知伪影的恢复能力。同时发布Verus-Bench基准,提供细粒度人类标注的感知伪影用于评估检测性能。

    AI 选稿理由Verus-Insight通过结构化三阶段能力设计,显著提升了AI生成视频中细粒度伪影检测的准确性和可解释性,适用于视频内容真实性验证领域。

  7. Hugging Face · 每日论文

    视频中心深度研究报告生成基准OmniDR-Bench发布

    AI 导读研究团队提出视频中心深度研究报告生成任务,给定视频和用户请求,智能体可识别研究问题、检索外部多模态证据并生成交互式报告。该任务包含50个中英文任务,覆盖19个现实子类别,共6414项评估标准。测试显示最佳系统得分为63.3分,当前智能体仍需提升内容覆盖度、跨模态因果逻辑分析能力和引用准确性。

    AI 选稿理由新增视频中心深度研究报告生成基准OmniDR-Bench,包含50个中英文任务和6414项评估标准,为视频内容研究提供标准化评估框架。

  8. Hugging Face · 每日论文

    HiSTEVE 1.0:利用人界面VLA代理实现开放世界游戏

    AI 导读研究团队提出HiSTEVE,一种分层VLA代理,通过能力感知代理框架结合长程自主与原生界面控制。该代理在Minecraft中实现85.0%的MineStudio Bench得分和37.4%的OpenHA平均成功率,能像人类玩家一样从零开始制作铁镐。

    AI 选稿理由HiSTEVE通过分层架构和特定技术解决了开放世界游戏中长程自主与原生界面控制的整合问题,在Minecraft基准测试中达到最先进性能。

  9. Hugging Face · 每日论文

    Skeleton-Grounded Latent Action Model for Robot World Models

    AI 导读研究团队提出SkeLAM模型,通过骨架监督分解潜在动作为运动学成分和残差成分,在DROID数据集上相比DreamDojo减少末端执行器平均位移误差19.5%,LPIPS降低11.1%,支持零样本人机动作迁移和预测成功率与实际执行一致。

    AI 选稿理由SkeLAM通过骨架监督分解潜在动作,提高了机器人世界模型的控制精度和动作迁移能力,在DROID基准上取得显著性能提升。

  10. Hugging Face · 每日论文

    F2G-Pose:几何感知基础特征提升实现RGB-D类别级物体姿态估计

    AI 导读研究团队提出F2G-Pose框架,通过单次前向预测从RGB-D观测中直接估计物体3D姿态、度量尺寸和相机坐标系下的完整形状。该方法将密集视觉基础特征提升到部分点云,使用DGCNN标记编码局部几何,并通过专家混合Transformer整合物体级结构。在SOPE和ROPE基准上达到最先进精度,姿态推理速度达28 FPS,并在HouseCat6D和HANDAL数据集上展示了强几何性能和真实物体迁移能力。

    AI 选稿理由F2G-Pose实现了实时单次前向预测的类别级物体姿态估计,在保持高精度的同时解决了现有方法在可靠性和效率之间的平衡问题。

  11. Hugging Face · 每日论文

    MMVistaReason:面向多模态推理的开源数据与后训练方法

    AI 导读研究团队提出MMVistaReason (MVR),一种开源数据后训练方案,包含互补的分析与现实世界推理能力覆盖、高效SFT和RL数据构建、专业化-集成化训练三部分。MVR-4B在15个多模态基准上平均得分72.8,超越Qwen3.5-9B和MMFineReason-8B,且使用样本减少70%;9B版本平均分达74.4,超过Qwen3.5-35B-A3B。

    AI 选稿理由MMVistaReason提供了系统化的开源数据构建和基于模型容量的后训练方法,显著提升多模态推理性能并减少训练样本需求。

  12. AWS Machine Learning Blog

    AWS Trainium支持torchtitan训练Qwen3模型的三种方法

    AI 导读AWS发布技术文章,介绍如何在AWS Trainium上使用torchtitan训练Qwen3模型。文章提供了三种配置方法:使用Transformers v5作为建模后端、使用torchtitan原生Qwen3实现、以及添加Neuron Kernel Interface混合专家内核。所有方法均可在单台trn2.48xlarge实例上运行,支持预训练和微调,并展示了如何加载和保存Hugging Face检查点。

    AI 选稿理由提供了在AWS Trainium上训练Qwen3模型的具体技术实现方法,包括三种不同配置的代码示例和性能验证,适用于分布式AI训练和推理工作流的开发者。

  13. Google Research

    Google Research用AI解读盲扫超声,孕龄评估误差4.18天与专家相当

    AI 导读Google Research在《JAMA Network Open》发表前瞻性多中心研究:让未受过超声培训的操作者用低成本便携探头按标准路径盲扫腹部,由AI估算孕龄。385名16–36周孕妇中,AI平均绝对误差4.18天,专家超声测量为4.48天;芝加哥适配后为4.10天,内罗毕零本地优化为4.27天。仅用芝加哥120人约6%训练集的数据微调即适配新探头,并将预测范围扩至36周以上。

    AI 选稿理由新增前瞻性多中心临床验证:AI盲扫孕龄评估在低资源与高资源场景均达到与专家操作非劣的4.18天平均误差,且仅需约6%数据微调即可换用新硬件。

10月21日周三
  1. Hugging Face Blog

    IBM Granite Speech 5.0:新增2B模型,Turbo CTC提速约1.6倍

    AI 导读IBM更新Granite Speech系列三款模型:新发布 granite-speech-5.0-2b,增强噪声与远场鲁棒性,支持语言ID提示、最多2000词关键词偏置,并在英语短音频开放ASR平均WER上以5.06%排第二;470m-turboctc增加七语种、原生标点大小写,RTFx升至19870;4.1-2b-plus改进说话人归属、时间戳、长语音与关键词偏置。均以Apache 2.0发布。

    AI 选稿理由新增2B多语种语音模型与Turbo CTC更新,并给出WER 5.06%、RTFx约1.6倍提升及消歧指标,适用于企业转写、翻译与说话人归属场景。

  2. NVIDIA Blog

    英伟达欧洲云伙伴扩容:主权AI、开放模型与OpenShell代理安全架构

    AI 导读英伟达梳理欧洲、北欧、非洲和中亚云伙伴的区域算力扩展:Nscale在GB300 NVL72测试中用DSX MaxLPS在同等供电下多跑37%的GPU、聚合推理吞吐提升近50%;Nebius采用Groq 3 LPX并推出机器人云与三套零售Agent蓝图;Baseten与CodeRabbit用Nemotron 3.5 Lightning把代码审查路由一致率从75.8%提到80.7%、推理成本降50%;Mistral以3800块Grace Blackwell训练Mistral Large 4并计划2027年交付Vera Rubin。OpenShell参考架构由Vera CPU、BlueField-4和Sentry提供代理权限边界,多家云商支持。

    AI 选稿理由汇总了DSX MaxLPS在GB300上的能效数据、CodeRabbit微调后的准确率与成本变化,以及OpenShell参考架构的具体分工与首批支持云商,可作为欧洲区域算力与代理安全部署的进展参考。

  3. NVIDIA Blog

    英伟达面向欧洲工业发布Factory Operations Blueprint及CUDA-X、Omniverse更新

    AI 导读英伟达在GTC Berlin展示欧洲工业客户使用CUDA-X、Omniverse、Cosmos和Nemotron推进工程与制造。Factory Operations Blueprint(FOX)已在GitHub开放早期访问,用于构建工厂管理及视觉检测、根因分析等Agent;西门子将其接入Intelligence Center X,估计可节省20%成本,并在埃尔朗根工厂将检测校准时间缩短40%。cuDSS转为正式可用,imec的S-Litho基准最高提速40倍,英飞凌3D击穿仿真提速12倍。奥迪、舍弗勒、大众透明工厂等用Omniverse与Isaac做数字孪生和机器人仿真。

    AI 选稿理由FOX蓝图开放早期访问并给出西门子20%成本节省、40%校准提速等实际企业结果,同时cuDSS正式可用,为工业Agent与仿真提供可复用起点。

  4. NVIDIA Blog

    NVIDIA发布多领域开源模型,助力欧洲各行业主权智能发展

    AI 导读NVIDIA扩展开源模型家族,涵盖语言、机器人、生物学和量子计算领域,推出Nemotron 3.5 Super VL和Nemotron 3.5 Bolt等新模型,以及Kumo结构化数据处理模型、Cosmos 3.5世界模型、Alpamayo 2 Edge自动驾驶模型、BioNeMo医疗模型和Ising量子计算模型。这些模型允许组织使用本地数据定制并部署在自有基础设施上。

    AI 选稿理由NVIDIA发布多领域开源模型,提供本地化定制能力,适用于欧洲各行业主权智能需求。

  5. Latent Space

    AINews:DeepSeek开源DeepInfer推理框架,MiniMax发布M3.1 Flash模型

    AI 导读DeepSeek开源DeepInfer推理框架,支持英伟达GPU与昇腾NPU,单集群每天处理155万亿Token,谷电时段每GPU小时收入38美元;MiniMax发布M3.1 Flash模型,总参数4280亿,支持100万Token上下文,72小时内处理超100万亿Token,推理速度提升近3倍;Anthropic让Claude生成数学证明验证代码正确性,为123个开源库生成约1.8亿行证明代码;腾讯推出AI互动知识产品'懂了鸭',可将文字、知识点转化为动态课件、3D演示等内容。

    AI 选稿理由DeepSeek开源高性能推理框架DeepInfer,提供具体生产数据和经济效益;MiniMax发布大规模参数模型,展示实际部署能力;Anthropic和腾讯分别推出创新AI应用,提供可复用方法。

  6. Hugging Face · 每日论文

    ToM2Vec:连续心智理论标记实现多智能体协调

    AI 导读研究团队提出ToM2Vec方法,通过固定数量的连续推理标记在丰富潜在空间中学习形成抽象心智理论。这些标记在训练时从合作伙伴的实际思想中获取监督,在测试时作为智能体思想和行动的条件器。在协作、竞争和混合动机环境中的测试显示,ToM2Vec在多智能体交互和协作方面持续优于基线和竞争性训练模型,且潜在推理至关重要,当推理以文本表达时性能下降。

    AI 选稿理由ToM2Vec通过连续推理标记解决了大语言模型智能体在不确定环境下形成准确心智理论的挑战,在多种环境中提升了多智能体协作能力。

  7. Hugging Face · 每日论文

    SpatialBrain:冻结视觉语言主干,靠经验积累提升空间推理

    AI 导读研究者提出 SpatialBrain 框架,在保持视觉语言主干不变的前提下,积累“何时直接观察、何时重建或换参考系”的推理经验。3DFusionMemory 将当前场景观测融合为可查询的空间关系,空间技能库提供可复用工具流程,空间认知把任务条件与使用经验关联起来;完成轨迹被抽象为过程记录并在任务块间整合。在五个空间推理基准上,四个优于同一主干的直接回答,一个持平。

    AI 选稿理由它把可复用的推理经验与场景证据分开记忆,在冻结主干下于五个空间推理基准中的四个取得提升,实验范围为五项基准与组件对比。