Hugging Face · 每日论文· 媒体 / 作者来源·精选
Token-Set选择影响POPE评估：视觉语言模型幻觉评估中是/否提取的系统审计
原文标题
Token-Set Choice Confounds POPE: A Systematic Audit of Yes/No Extraction in VLM Hallucination Evaluation
AI 导读
研究人员在复现POPE基准测试的幻觉缓解结果时发现，评估代码中的token选择会影响F1分数。通过分析9,000个问题，发现模型实际生成的是带空格前缀的"Yes"和"No"token，而非直接比较的"yes"和"no"token。这种评估方法导致LLaVA-1.5-7B在对抗分割上的F1分数提高了6.13点，超过多数报告的增益。研究还发现错误预测比正确预测获得更多图像注意力，与基于纠正的假设相反。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
揭示了视觉语言模型评估中token选择对结果的关键影响，解决了评估方法不一致导致的性能比较难题，为研究人员提供了标准化的评估框架。
导读由模型辅助整理，非独立核验。完整信息见原文。