Hugging Face · 每日论文· 媒体 / 作者来源·精选
EvaOmni基准:392段视频评估视听推理的证据链
原文标题
EvaOmni: An Evidence-Grounded Benchmark for Audio-Visual Reasoning
AI 导读
研究团队发布EvaOmni视听推理基准,含392段视频、1027个人工标注问答对,覆盖检索定位、基础理解、复杂推理三层共15项能力。评测要求模型同时返回答案与支撑证据区间,并用C.G.衡量证据覆盖、B.G.惩罚单模态时间定位偏差。在24个Omni模型上,Gemini3.7-Flash综合准确率最高(79.4%),但Level 3的B.G.仅12.3%。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
新基准把“答案+音视频证据区间”纳入评分,并给出24个Omni模型的分层结果,可复用于视听推理评测。
导读由模型辅助整理,非独立核验。完整信息见原文。