跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
Hugging Face · 每日论文· 媒体 / 作者来源·精选

Harness-Delta Attribution:拆解Agent框架进化收益,54%来自过拟合

原文标题

Harness-Delta Attribution: Dissecting Gains From Harness Evolution

AI 导读

论文提出Harness-Delta Attribution(HDA)评估协议,将Agent harness进化的搜索集性能提升拆分为产物过拟合、测试时扩展和残余可泛化改进。在11个执行模型和3个框架的21个显著提升设置中,过拟合与测试时扩展平均分别贡献54%和14%,14个设置中两者合计超50%。搜索集收益常无法迁移至留出任务,验证信号不足以防过拟合。

来源:Hugging Face · 每日论文 · arxiv.org

导读与选稿说明

该研究提出可复用评估协议,量化了harness进化收益中过拟合与测试时扩展的占比,对Agent评测有方法参考价值,结论限于21个显著提升的实验设置。

导读由模型辅助整理,非独立核验。完整信息见原文。