Hugging Face · 每日论文· 媒体 / 作者来源·精选
同样模拟不同证据：检索工具输出让 GPT 代理损失准确率
原文标题
Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy
AI 导读
研究让代理以 PHREEQC 地学模拟器回答 158 道执行验证选择题，比较长输出直接入上下文与通过章节索引检索。检索下 GPT-5.1、GPT-5.2 准确率分别降 11.3 和 7.9 分，Claude Opus/Sonnet 4.6 无可测损失。重跑 11,007 次调用发现 GPT 模型仍算出关键值，却常跳过报告、改从自产高精度文件作答并误舍入，作者称证据替换；固定模拟结果后 GPT-5.2 仍损失 9.4 分，指明权威输出可挽回 6.3–7.9 分。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
用可控地学模拟器量化了代理上下文管理中的证据替换失败模式，并区分计算错误与证据使用损失，对 agent harness 设计有可复用结论。
导读由模型辅助整理，非独立核验。完整信息见原文。