Hugging Face · 每日论文· 媒体 / 作者来源·精选
BizBench:面向支付业务的长周期Agent基准,Claude Opus 5与GPT-6 Sol严格成功率仅64.0%和61.3%
原文标题
BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business
AI 导读
研究者提出BizBench,一个基于某头部支付公司真实业务流程的多轮基准,用于评测长周期Agent的中间执行有效性。其可执行环境整合789份知识文档与601个可发现业务工具,包含50个涉及资源约束、时间依赖、既有承诺及冲突/过时指引的任务,通过确定性检查同时评估目标达成与执行合法性。实验显示前沿模型仍有明显短板:Claude Opus 5和GPT-6 Sol严格成功率仅64.0%和61.3%;Qwen3.8-27B目标达成率42.0%但严格成功率降至32.7%;DeepSeek-V4.1-Flash平均每次运行191.3次工具调用,比参考执行多约70%。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提供了可执行的长周期Agent评测环境,把评估从只看最终结果推进到检查中间步骤是否合规,可用于支付等高风险业务场景下Agent可靠性的测试与改进。
导读由模型辅助整理,非独立核验。完整信息见原文。