AgentVQA:统一基准测试评估视觉语言模型在代理场景中的表现
AI 导读研究团队推出AgentVQA基准,从23个数据集中精选1000个真实世界代理场景,涵盖Web代理、机器人、第一人称视频、游戏和空间规划五个领域。测试显示,22个模型中最佳准确率仅为58.5%,主要错误源于无法准确定位UI元素、解释运动、跟踪状态变化和推断3D空间关系,而非任务理解或逻辑推理问题。
AI 选稿理由AgentVQA提供了首个跨领域代理视觉理解离线基准,解决了在线评估成本高、难以扩展的问题,为模型比较提供可靠依据。