Hugging Face · 每日论文· 媒体 / 作者来源·精选
FrontierCS 2:计算机科学研发基准测试
原文标题
FrontierCS 2: A Benchmark for Computer Science R&D
AI 导读
研究团队推出FrontierCS 2基准测试,包含48个开放性任务,评估LLM代理对计算机科学前沿研发的贡献。该基准将代理置于研究环境中,继承工作仓库并随时提交补丁,最终在13个领域评估表现。测试了12个代理,Claude Opus 5.5表现最佳,通过58%的运行,但16个任务无任何运行通过。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
FrontierCS 2是首个将LLM代理置于真实研究环境中的计算机科学研发基准,覆盖13个领域,为评估AI在科研中的能力提供了新标准。
导读由模型辅助整理,非独立核验。完整信息见原文。