Hugging Face Blog· 机构原始发布·· 3 小时前精选
Hugging Face发布研究：LLM评估科研创新性不可靠
原文标题
Can we trust LLMs to judge whether a research idea is novel?
AI 导读
Hugging Face发布Old Ideas, Novel Problems研究，评估六种LLM模型判断科研创新性的可靠性。研究发现，评估设置微小变化会导致同一想法的判断差异超过50个百分点，检索和额外推理不能提高判断一致性，专用评估系统表现不如简单提示的Claude Opus 4.6基准。研究同时发布了评估基准、数据、代码和自动化构建新评估集的流水线。
来源：Hugging Face Blog · huggingface.co
导读与选稿说明
研究揭示了LLM评估科研创新性的不可靠性，为AI辅助科研发现提供了重要评估工具和改进方向。
导读由模型辅助整理，非独立核验。完整信息见原文。