Hugging Face · 每日论文· 媒体 / 作者来源·精选
iPrefBench: 面向个性化移动使用代理的用户中心基准测试
原文标题
iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents
AI 导读
研究团队推出iPrefBench基准测试，用于评估个性化移动代理的推断和询问能力。该基准包含130个未明确指定的用户任务，覆盖26个应用，基于包含3,051个历史活动事件的用户画像。测试显示，7个前沿代理在动作完成率上高达91.6%，但完整任务成功率仅为47.7%，表明代理在个性化推断和必要信息询问方面存在显著差距。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
iPrefBench提供了首个专门针对移动代理个性化能力的可执行测试环境，揭示了当前代理在推断用户意图和主动询问关键信息方面的不足。
导读由模型辅助整理，非独立核验。完整信息见原文。