事件记录近期有报道
Hugging Face发布研究：LLM评估科研创新性不可靠
1 篇报道1 个报道来源3 小时前更新
先了解这件事
报道摘要
Hugging Face发布Old Ideas, Novel Problems研究，评估六种LLM模型判断科研创新性的可靠性。研究发现，评估设置微小变化会导致同一想法的判断差异超过50个百分点，检索和额外推理不能提高判断一致性，专用评估系统表现不如简单提示的Claude Opus 4.6基准。研究同时发布了评估基准、数据、代码和自动化构建新评估集的流水线。
摘自 Hugging Face Blog
报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hugging Face Blog精选Hugging Face发布研究：LLM评估科研创新性不可靠
Hugging Face发布Old Ideas, Novel Problems研究，评估六种LLM模型判断科研创新性的可靠性。研究发现，评估设置微小变化会导致同一想法的判断差异超过50个百分点，检索和额外推理不能提高判断一致性，专用评估系统表现不如简单提示的Claude Opus 4.6基准。研究同时发布了评估基准、数据、代码和自动化构建新评估集的流水线。
参与观测走势
还没有足够的连续观测数据，暂不绘制趋势。