Hugging Face · 每日论文· 媒体 / 作者来源·精选
视觉生成能否扩展统一多模态模型的知识？
原文标题
Can Visual Generation Expand What Unified Multimodal Models Know?
AI 导读
论文提出知识迁移探测（KTP）协议，通过图像生成训练向模型注入新知识，再用纯文本问答检验其可获取性。在七类知识和三个统一多模态模型上，视觉监督能直接但非均匀地迁移到语言能力。作者随后引入文本对齐与交错图文对齐，将生成与回答通过共享知识和交错响应连接；对部分实体的引导可在无问答监督下改善其他实体的知识获取。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出了可复用的KTP协议来量化视觉生成训练向语言知识的迁移，并给出对齐方法提升可获取性，为多模态训练数据与架构设计提供实验依据。
导读由模型辅助整理，非独立核验。完整信息见原文。