Hugging Face · 每日论文· 媒体 / 作者来源·精选
Hugging Face 每日论文:SABER 基准揭示视觉语言模型属性-对象绑定缺陷,纯文本微调即可修复
原文标题
Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models
AI 导读
论文提出 SABER 基准,覆盖四种图文模态组合、多种属性类型及最多十个对象的场景,评测发现 CLIP 类双编码器和基于 MLLM 的嵌入模型普遍存在属性-对象绑定失败。作者随后仅用合成属性绑定文本微调一个 MLLM 嵌入器,在没有图像监督的情况下,跨模态与图像-图像检索均有提升,在 SABER 上达到 SOTA,并改善了否定与实例检索基准。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
指出多模态检索中属性-对象绑定这一被低估的瓶颈,并证明仅用廉价可生成的合成文本监督即可显著提升跨模态检索能力,降低了为绑定任务收集配对图像的标注成本。
导读由模型辅助整理,非独立核验。完整信息见原文。