图像生成

AI 导读论文提出知识迁移探测（KTP）协议，通过图像生成训练向模型注入新知识，再用纯文本问答检验其可获取性。在七类知识和三个统一多模态模型上，视觉监督能直接但非均匀地迁移到语言能力。作者随后引入文本对齐与交错图文对齐，将生成与回答通过共享知识和交错响应连接；对部分实体的引导可在无问答监督下改善其他实体的知识获取。

AI 选稿理由提出了可复用的KTP协议来量化视觉生成训练向语言知识的迁移，并给出对齐方法提升可获取性，为多模态训练数据与架构设计提供实验依据。