UI-KOBE：面向轻量级图驱动 GUI 代理人的数据驱动行为探索
人工智能
2026-05-29 v1
摘要
近期移动 GUI 代理人的进展显示出强大的自动化移动任务潜力，但大多数有效系统仍依赖大型视觉语言模型进行截图理解和长期程计划。可直接部署在移动设备上的小型 GUI 代理人因推理成本低且能更好地保护设备端敏感信息而更具实用性。然而，由于模型容量有限，这类轻量级代理人在仅凭截图进行端到端规划和执行 GUI 任务时仍不可靠。我们提出数据驱动行为探索（UI-KOBE）框架，通过可复用的应用特定图数据提升轻量级移动 GUI 代理人的性能。UI-KOBE 首先自主探索移动应用程序并构建应用知识图，其中节点代表不同的 UI 状态，边代表可执行的转换。在运行时，轻量级 GUI 代理人利用图作为外部指导：给定用户任务和当前截图后，识别当前图节点并在该节点关联的自环动作、相邻转换、任务完成或后备免费动作中进行选择。通过为运行时决策提供应用特定图指导，UI-KOBE 减轻了端到端 GUI 规划的负担，帮助轻量模型更有效地完成移动 GUI 任务，为高效、可解释且具隐私保护性的设备端 GUI 代理人提供了实用方案。
引用
@article{arxiv.2605.29534,
title = {UI-KOBE: Knowledge-Oriented Behavior Exploration for Lightweight Graph-Guided GUI Agents},
author = {Yuxiang Chai and Han Xiao and Xinyu Fu and Jinpeng Chen and Rui Liu and Hongsheng Li},
journal= {arXiv preprint arXiv:2605.29534},
year = {2026}
}