论文:用决策模型控制器替Agent做判断,成本升19%成功率不变
AI 导读研究在Terminal-Bench 2.1上固定同一个Claude Sonnet 5.5终端Agent循环,只更换控制器。21项留出任务共315次试验中,由类型化决策模型Jev 1.13在确定性决策点作答,每次尝试成本上升19%,通过率同为73.0%。Jev比小LLM控制器便宜19%,但比按开发期选择频率采样的安慰剂贵22%。离线评估中Jev判断完成请求的AUROC为0.78,优于规则0.62和小LLM 0.60,但校准差:平均给出0.50完成概率时实际87%运行已通过,导致多余核验;所有控制器都未选择放弃运行。
AI 选稿理由预注册对照实验给出了决策模型控制器增加成本却不提升成功率的可量化结果,并指出完成概率校准与干预无效这两个具体环节,适用于Agent控制层设计讨论。