跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
原文
Hugging Face · 每日论文· 媒体 / 作者来源·精选

BizBench:面向支付业务的长周期Agent基准,Claude Opus 5与GPT-6 Sol严格成功率仅64.0%和61.3%

原文标题

BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business

AI 导读

研究者提出BizBench,一个基于某头部支付公司真实业务流程的多轮基准,用于评测长周期Agent的中间执行有效性。其可执行环境整合789份知识文档与601个可发现业务工具,包含50个涉及资源约束、时间依赖、既有承诺及冲突/过时指引的任务,通过确定性检查同时评估目标达成与执行合法性。实验显示前沿模型仍有明显短板:Claude Opus 5和GPT-6 Sol严格成功率仅64.0%和61.3%;Qwen3.8-27B目标达成率42.0%但严格成功率降至32.7%;DeepSeek-V4.1-Flash平均每次运行191.3次工具调用,比参考执行多约70%。

来源:Hugging Face · 每日论文 · arxiv.org

导读与选稿说明

提供了可执行的长周期Agent评测环境,把评估从只看最终结果推进到检查中间步骤是否合规,可用于支付等高风险业务场景下Agent可靠性的测试与改进。

导读由模型辅助整理,非独立核验。完整信息见原文。