VLAA-GUI: 知道何时停止、恢复和搜索的GUI自动化模块化框架
计算与语言
2026-04-27 v2 人工智能
软件工程
摘要
自主GUI代理面临两个基本挑战：过早停止（代理在没有可验证证据的情况下过早宣布成功）和重复循环（代理在相同的失败动作中循环而不恢复）。我们提出VLAA-GUI，一个模块化的GUI代理框架，围绕三个集成组件构建，指导系统何时停止、恢复和搜索。首先，一个强制性的完整性验证器在每个完成步骤强制执行UI可观察的成功标准和验证——带有一个代理级验证器，用决策规则交叉检查完成声明，拒绝那些缺乏直接视觉证据的声明。其次，一个强制性的循环中断器提供多层过滤：在重复失败后切换交互模式，在持续屏幕状态重复后强制策略更改，并将反思信号绑定到策略转变。第三，一个按需搜索代理通过直接查询具有搜索能力的强大LLM来在线搜索不熟悉的工作流程，并以纯文本形式返回结果。我们还集成了一个用于代码密集型动作的编码代理和一个用于精确动作基础的接地代理，两者都在需要时按需调用。我们在五个顶级骨干网络上评估VLAA-GUI，包括Opus 4.5、4.6和Gemini 3.1 Pro，在具有Linux和Windows任务的两个基准测试上，在两个基准测试上都取得了最佳性能（OSWorld上77.5%，WindowsAgentArena上61.0%）。值得注意的是，五个骨干网络中有三个在单次运行中在OSWorld上超越了人类性能（72.4%）。消融研究表明，所有三个提出的组件都一致地改进了强骨干网络，而较弱的骨干网络在步骤预算充足时从这些工具中获益更多。进一步的分析还表明，循环中断器几乎将为循环倾向模型浪费的步骤减半。
引用
@article{arxiv.2604.21375,
title = {VLAA-GUI: Knowing When to Stop, Recover, and Search, A Modular Framework for GUI Automation},
author = {Qijun Han and Haoqin Tu and Zijun Wang and Haoyue Dai and Yiyang Zhou and Nancy Lau and Alvaro A. Cardenas and Yuhui Xu and Ran Xu and Caiming Xiong and Zeyu Zheng and Huaxiu Yao and Yuyin Zhou and Cihang Xie},
journal= {arXiv preprint arXiv:2604.21375},
year = {2026}
}
备注
The first two authors contribute equally