Δτ-Bench: 推动智能体实现移动能力

本文介绍了Δτ-Bench，一个可执行的智能体基准测试，用于模拟大型工具生态系统的结构演变。在Δτ-Bench中，独立发展的服务不断改变任务完成方式，评估智能体是否能够主动发现高效的工具使用路径，并迅速修订其累积的程序知识。实验表明，即使是最强的评估模型或工具也仅能实现42.3%的任务成功率，而现有技能学习方法的初始收益无法持续转化为更好的适应性。这些发现促使开发了Steward，一个生态系统管理器，通过增量技能维护和任务执行期间的动态提供来共同管理工具和程序知识。