Hugging Face · 每日论文· 媒体 / 作者来源·精选
SciΠvot：用248个案例基准测试科研智能体在关键节点上的科学判断力
原文标题
SciΠvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
AI 导读
研究者构建了 SciΠvot 基准，包含 248 个基于人类纠错记录的案例，来自高级研究员六个月内在 26 个科研项目、六个学科方向上对 LLM 智能体的反复干预。每个案例让模型在原始 LLM 方案与人类修正方案之间选择，且只能用纠错前的项目记录作为上下文。结果显示，在中等推理强度并提供项目记录时，模型系统性地偏好原始 LLM 方案；五个前沿模型中四个在所选案例上低于随机水平，最高准确率为 63.5%，而新手研究员为 73.4%。中等强度下，所有模型带项目记录的准确率反而低于不带记录，重新考虑也未持续提升整体准确率。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
该基准首次用真实科研纠错记录系统评测 LLM 智能体的科学判断力，揭示前沿模型在关键研究决策上仍弱于人类，为自主科研智能体的评估与改进提供了可复用的测试集和方法。
导读由模型辅助整理，非独立核验。完整信息见原文。