Hugging Face · 每日论文· 媒体 / 作者来源·精选
FocusGUI：面向全模态GUI代理的轻量聚焦适配器
原文标题
Focused Omni-Modal GUI Agents
AI 导读
论文指出，GUI代理若在每一步都均匀输入截图、音频、视频、交互历史和设备状态等全模态信息，无关信号会随步骤变化成为干扰，误差回传会造成“序列分心”和轨迹漂移。为此作者提出FocusGUI，以步骤特定的决策参考动态压缩最相关证据为隐表示，注入冻结解码器的嵌入，仅用动作监督训练。在四个全模态骨干上平均Type Match提升33.2、Exact Match提升3倍。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出只有动作监督训练、无需相关性标注与骨干微调的轻量适配器，给出四个全模态骨干上的Type Match与Exact Match量化提升，属全模态GUI代理方法进展。
导读由模型辅助整理，非独立核验。完整信息见原文。