HSPR：通过分层后验推理恢复软件代理基准分数

评估软件代理在完整基准上的成本高昂。小任务子集可以保留代理排名，但会得到不准确的成绩。历史响应提供了有用的结构，但具有相同源响应的任务对于新目标代理可能会有不同的结果。本文介绍了分层分数后验恢复（HSPR），它结合了源拟合响应因素和不确定的群体成功率。观察到的目标结果更新了目标潜在状态和群体率的后验；后验引导的获取选择后续任务。其基于分数的标准等于预期的一步减少全分数后验方差。观察到的成功和未查询任务的先验预测计数产生了全分数后验。最终估计使用其中位数与源选择的校准。在SWE-bench家族的四个任务库的10%任务预算下，HSPR在三个库中实现了最低的平均绝对误差（MAE），在所有四个库中实现了最低的最大绝对误差（MaxErr）。移除群体不确定性或替换自适应查询会增加相应控制中的宏MAE。随着预算的5-20%增加，宏MAE下降。