跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
Hugging Face · 每日论文· 媒体 / 作者来源·精选

OS-Helix:在原生计算机代理中统一 GUI 交互与代码执行

原文标题

OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents

AI 导读

研究者提出 OS-Helix,一个端到端训练的多模态计算机使用代理,将 GUI 操作与代码执行统一在同一动作空间中。实验发现简单加入代码工具会拖累 GUI 代理,因此需要混合数据训练内化路由能力。团队通过应用-工件组合生成可执行 Ubuntu 状态和可验证任务,先用 SFT 冷启动,再在真实桌面环境做在线 RL,并提出按动作步聚合权重的 Step-balanced GSPO。在 OSWorld-Verified 上,OS-Helix-27B 与 OS-Helix-35B-A3B 相对同规模 Qwen3.5 混合基线分别提升 35.0% 和 33.7%,OS-Helix-27B-RL 再提升 42.9%,成功率达 66.44%。

来源:Hugging Face · 每日论文 · arxiv.org

导读与选稿说明

把 GUI 操作和代码执行训练进同一策略,解决了此前靠提示词拼工具导致代码能力拖累 GUI 的瓶颈,并给出可验证数据生成和 RL 优化方法,可供构建桌面自动化代理的研究与工程团队参考。

导读由模型辅助整理,非独立核验。完整信息见原文。