跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

多模态

全部主题
主题资料

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

178 篇文章

最新文章

第 121–140 条 · 共 178 条
10月18日周日
  1. Hugging Face · 每日论文

    CoworkEnv:为长期协作AI合成训练环境

    AI 导读研究团队提出CoworkEnv框架,用于合成AI协作伙伴的训练环境。该框架通过工作流要求指导任务构建,并使用程序验证和反馈修复检查生成规范和评分行为。研究团队使用这些资源训练了紧凑的PocketWorker模型,在Qwen3-VL-8B-Instruct模型上,监督微调(SFT)使Claw-Eval平均分从46.6提升至64.1,多回合任务得分提高31.9分。

    AI 选稿理由CoworkEnv解决了AI协作伙伴训练环境构建的复杂性问题,为多轮对话、工具协调和工作流约束下的AI训练提供了可复用的框架和方法。

  2. Hugging Face · 每日论文

    MT Forcing:基于自回归扩散的多轮图像编辑稳定性与一致性研究

    AI 导读多轮图像编辑旨在根据一系列指令修改图像,以实现更有效的交互式视觉内容创作。然而,现有方法在经过几次编辑后往往会出现明显的漂移,表现为视觉质量不稳定和图像内容不一致。为了解决这些问题,研究人员提出了MT Forcing,这是一种基于自回归扩散和统一多模态模型(UMMs)的新型多轮图像编辑训练范式。具体来说,他们提出了单轮分布匹配蒸馏(Single-Turn DMD),通过一个在单轮中对源图像进行累积编辑的教师来监督学生的自滚动,提供视觉质量指导,避免递归错误累积。此外,他们还引入了教师强制指导,在预热期间监督参考轨迹上的历史依赖转换,并在蒸馏期间作为正则化器,鼓励跨轮内容一致性。广泛的实验表明,这种方法显著提高了UMMs的多轮图像编辑能力,实现了更稳定的视觉质量和更强的跨轮一致性。

    AI 选稿理由MT Forcing通过引入新的训练范式和指导策略,解决了多轮图像编辑中的视觉质量不稳定和内容不一致的问题,提高了UMMs的多轮图像编辑能力。

  3. Hugging Face · 每日论文

    Think Visually Across Space and Time: Grounded Reasoning for Video Segmentation

    AI 导读研究提出Temporal Chain of Video Primitives (TCoVP),一种时空视频推理分割方法,将查询相关观察组织成时间顺序推理链,将实体引用与时间支持和时间戳空间证据关联,用于视频掩码预测。通过TCoVP-SFT-15k和TCoVP-RL-13k数据集进行监督微调和链对齐强化学习,在五个VRS基准测试和三个模型骨干上展示强大性能,所有模型和代码将公开。

    AI 选稿理由解决了视频推理分割中语言推理与视觉证据之间的差距,通过时空推理链提升目标识别和掩码预测准确性

  4. Hugging Face · 每日论文

    BiDex-100:覆盖106个仿真任务的双手机器人灵巧操作基准

    AI 导读研究者发布BiDex-100仿真基准,含106个双手灵巧操作任务,按泛化、指令跟随、少量演示、长程与记忆五轴组织,每个任务配一个受控视觉和空间变化的域外变体以测鲁棒性。基准支持两种本体,提供8080条经成功校验的遥操作演示、共625万帧,并用统一协议评测七个近期视觉-语言-动作模型,建立能力特异性、鲁棒性与数据效率基线。

    AI 选稿理由首个面向双手灵巧操作的大规模仿真评测集,用106个任务、域外变体和八字数据集,为七个VLA模型建立按能力、鲁棒性和数据效率划分的基线。

  5. Hugging Face · 每日论文

    Painting Change Map:用时空变化图引导AI生成绘画过程

    AI 导读研究提出 Painting Change Map,用 RGB 编码记录1000步内的归一化结构变化,同时控制“在哪画”和“何时画”,可引导正向绘制与反向“取消绘制”。基准测试中优于现有控制基线,与先进绘画方法持平或更好;在 oracle 条件下显著超过所有基线。代码已开源。

    AI 选稿理由提出可精细控制绘画视频时空演变的新条件机制,并在标准基准上给出相对现有控制方法的量化比较,适用于数字艺术生成研究。

  6. Hugging Face · 每日论文

    HumanoidPose:仅凭视频估计人形机器人全身关节姿态,关节角度误差降低18-32%

    AI 导读论文提出HumanoidPose框架,将视觉作为本体感觉,仅从视频恢复人形机器人在世界空间中的全身关节构型。该方法把预训练人体姿态特征与机器人运动学统一到一个模型中,将人体动作重定向到16种不同人形机器人本体上,完全依赖合成数据进行可扩展学习,并利用无标注在线视频自训练出2D机器人姿态检测器以提升真实场景泛化。评测显示,在三个真实人形机器人平台上,其关节角度与关节位置精度均优于基线,关节角度误差较各平台最佳基线降低18-32%,并改善了全局定位与对未见本体的泛化能力。

    AI 选稿理由提出从视频估计人形机器人全身关节构型的新框架,在三个真实人形平台的实验中将关节角度误差较最佳基线降低18-32%,并支持从在线与生成视频中提取机器人动作。

  7. Hugging Face · 每日论文

    FineSplat: 细粒度图像块与局部分组提升3D高斯飞溅重建质量

    AI 导读研究团队提出FineSplat框架,通过细粒度图像块和双分组策略解决前馈3D高斯飞溅在精细几何和外观恢复上的难题。该方法结合视图分组和3D空间分组,利用重建误差作为反馈信号,在保持高效紧凑的同时显著提升了重建质量,在相同或更少高斯数量预算下达到最先进水平。

    AI 选稿理由解决了前馈3D重建中精细细节恢复的瓶颈,为实时高质量场景重建提供了新方案,适用于VR/AR和数字孪生等领域。

10月17日周六
  1. Hugging Face · 每日论文

    LayerEditor:通过组合编辑先验蒸馏实现图像编辑为可重用层

    AI 导读研究团队提出LayerEditor框架,将指令引导的图像编辑与可重用RGBA层的可控生成相结合。该框架通过上下文RGB-Alpha令牌建模在同一令牌序列中表示编辑画布和有序RGB-Alpha层,并引入组合编辑先验蒸馏方法,保持预训练模型的编辑能力。研究团队还构建了LayerEditor-100K数据集和专用基准测试,实验证明LayerEditor在保持强编辑保真度的同时能生成准确的RGBA层,支持灵活的层级操作和多层分解。

    AI 选稿理由LayerEditor首次实现了图像编辑与可重用RGBA层的统一框架,通过组合编辑先验蒸馏保持编辑能力,并提供了大规模数据集和专用基准测试。

  2. Hugging Face · 每日论文

    HumanSkill-4D:免训练用语言查询可动高斯化身

    AI 导读论文提出化身指称分割任务,可从语言查询中选取可动画高斯化身的区域,并按姿态或动作挑选匹配的时间区间,用于局部编辑与动作检查。HumanSkill-4D 无需训练,用共享 MLLM 与几何算子,借助语义记忆和运动记忆完成带歧义局部与相近动作的选择。作者发布三个人工标注基准,称其在部件分割及 3D、4D 指称分割上优于基线,每个化身仅需分钟级准备。

    AI 选稿理由提出可动高斯化身的新查询任务与免训练框架,并公开三个人工标注基准及对比结果;实验限于化身部件与动作区间的指称分割。

  3. Hugging Face · 每日论文

    Muse Glimmer 30B:面向消费级硬件的端侧Agent模型

    AI 导读Hugging Face每日论文介绍Muse Glimmer,一个带感知编码器的开源300亿参数因果语言模型,面向消费级硬件上的自主Agent任务。模型将多步推理、可靠工具调用与失败恢复整合在单一模型中,本地运行无需云端基础设施;接受文本与图像输入、输出文本,使用超百种语言数据训练,量化至约4-bit精度以支持单GPU高效推理。作者称其在同量级模型(Gemma4-31B、Qwen3.6-27B)的工具使用、多步规划与Agent任务完成基准上达到SOTA,以Apache 2.0许可发布。

    AI 选稿理由发布了一个Apache 2.0开源的30B端侧Agent模型,将多步推理、工具调用与失败恢复整合进单一模型,在消费级单GPU上以约4-bit量化本地运行,并在同量级Agent基准上报告超越Gemma4-31B与Qwen3.6-27B的结果。

  4. Hugging Face · 每日论文

    UniAVC:通过渐进训练和非对称调度实现统一音视频创作

    AI 导读UniAVC解决了现有方法依赖稀缺的成对数据集问题,采用分模态训练和独立噪声调度策略,实现了文本条件下的联合生成、双向跨模态生成和指令引导编辑。该模型支持意图感知编辑和推理后自我完善,无需任务特定适配器即可完成多种创作任务。

    AI 选稿理由UniAVC突破了音视频创作中成对数据稀缺的限制,通过创新训练策略实现了高效跨模态耦合,为多媒体内容创作提供了新范式。

  5. Hugging Face · 每日论文

    Design Anything:基于意图-执行图的设计代理框架

    AI 导读研究团队提出Design Anything框架,通过意图-执行图保存设计意图,将交付物与工作流步骤绑定。在19个设计领域的228项任务测试中,使用DeepSeek V4.1 Flash High和GPT-5.6 Sol High模型时,分别满足85.0%和92.5%的简报事实约束,超越同模型基线15.4%和14.4%。在24个工件的大规模任务中,提升幅度达25.1%和23.0%。专业设计师在盲测中更偏好该框架的完整交付物集。

    AI 选稿理由Design Anything框架通过意图-执行图显著提升设计代理在多领域、大规模项目中的约束满足率,适用于需要长期保持设计意图一致性的复杂设计任务。

10月16日周五
  1. Latent Space

    AINews:Meta 开源 Muse Spark Open,Agent 分析挑战多义性假说

    AI 导读本期导读三条主线:Meta 发布 816B 总参/42B 激活的 MoE 开放权重模型 Muse Spark Open,1M 上下文并支持文本图像视频音频,AA 智能指数 39 居美国开源首位但落后 GLM-5.3;Goodfire 的 Nick Cammarata 提出“神经网络本来就很干净”,认为许多经典多义性案例可被更强的 agent 分析拆解;此外还有 NVIDIA Nemotron 3.5 Super VL、微软 MAI-Base-2、Gemini 4 Argon 评测,以及 SPACE 沙箱、TPUv7 推理基准等系统与安全研究。

    AI 选稿理由Muse Spark Open 是目前美国最强的开源权重模型,1M 上下文加多模态输入可用于编码与长程 agent,权重可在 4×Blackwell Ultra 或双 Mac Studio 上本地部署;Goodfire 的“已干净”论则给可解释性研究提供了可复用的 agent 分析路径。

  2. Hugging Face · 每日论文

    MOSS-Image 技术报告:5B 开源文生图模型,长文本渲染覆盖率达 96.3%

    AI 导读MOSS-Image 是一个开源生成系统,从零预训练 5B 单流扩散 Transformer(DiT),支持中英双语长文本渲染与精确布局控制;同时提出意图感知的 Agent 式提示增强模块,将用户请求转为内容与布局规格。作者还发布 LongLongTextBench 与 RealLayoutArena 两个评测基准:MOSS-Image 在 LLTB 上开源模型第一,平均文本覆盖率 96.3%;在 RLA 端到端系统对比中排第二,其骨干模型在使用统一增强提示的生成器对比中排第一。团队表示将公开模型、训练配方与评测框架。

    AI 选稿理由开源权重文生图模型在密集文字和复杂版式上长期落后于闭源系统,该工作给出了可复现的 5B 预训练配方和两个长文本/布局评测基准,96.3% 的文本覆盖率让海报、图表类图文生成更接近可直接使用。

  3. Hugging Face · 每日论文

    Harnessing Textual Refusal Directions for Multimodal Safety

    AI 导读研究提出Modality-Agnostic Refusal Steering (MARS)方法,通过从LLM骨干网络提取文本拒绝方向实现多模态安全,无需收集多模态安全数据。MARS通过激活中心化、自适应调整引导强度和选择最佳干预层,在五种SOTA多模态大模型上提升了安全性,同时保持实用性。

    AI 选稿理由解决了多模态大模型安全数据收集困难的问题,提供了一种无需多模态安全数据的轻量级安全增强方法。

  4. Hugging Face · 每日论文

    HexaShell:让 VLM Agent 以编码方式控制机器人,在 RoboDojo 上取得 39.7% 成功率

    AI 导读研究提出 HexaShell,一个极薄的机器人控制框架:VLM 编码 Agent 通过命令行驱动双臂机器人,读取三个已标定 RGB 相机,并在每次失败后读日志、定位原因、编写或修复名为 tools 的小程序,用三角测距和平面求交估算物体与夹爪的相对位置。工具仅用单 seed 的十种布局构建并冻结,再在同 seed 的十种新布局上测试,使用 Codex 与 GPT-6-Astra 中等推理强度,在 RoboDojo 全部 42 项任务上达到 39.7% 成功率与 48.0 进度分,刷新最优。瓶颈在接触而非推理:推动 92.5%、记忆任务 65.0%,而紧密插入仅 8.3%。作者开源了已演化的 tools。

    AI 选稿理由展示了编码 Agent 在真实机器人操作中的能力边界:把失败经验沉淀为可复用代码工具后能刷新 RoboDojo 榜单,但紧密插入等接触密集型任务仅 8.3%,为机器人 Agent 研究者指明了推理之外的运动控制瓶颈。

  5. TLDR AI · 前沿简报

    TLDR AI 前沿简报 2026-10-16:Muse Spark Open 开源模型、微软 MAI-Base-2 预训练栈与开放权重占比

    AI 导读本期头条包括:Muse Spark Open 为 816B 参数(激活 42B)、100 万 token 上下文的多模态开放权重模型,面向编码与长周期 Agent 任务,可在两台 Apple M5 Ultra Mac Studio 上用 MLX 本地运行;微软详解 2.8T 参数 MoE 模型 MAI-Base-2 的训练栈,称其在留出预训练评测中超过所有开放权重模型,并计划通过 Foundry 提供企业服务;Liquid AI 发布 d1-ultra 多模态决策模型,定价每百万输入 token 0.042 美元。另有多篇深度分析、Nvidia Nemotron 3.5 Super VL、Krea 3、FLUX 3 Image Klein 等工程与模型进展,以及开放权重模型已占网关超七成 token 和近四分之一花费的统计数据。

    AI 选稿理由Muse Spark Open、微软 MAI-Base-2 训练栈、Liquid d1-ultra 与 Nvidia Nemotron 3.5 Super VL 等集中发布,覆盖长上下文 Agent、企业级前沿模型与低成本决策模型,为开发者和企业提供新的开放权重与 API 选项。