AutoDroid-V2：通过代码生成提升基于SLM的GUI智能体
人工智能
2025-05-07 v3
摘要
大型语言模型（LLM）带来了对移动UI智能体的最新进展，这是一长期的研究领域，旨在通过移动UI交互完成任意自然语言任务。然而，现有的UI智能体通常需要强大的大型语言模型，这些模型难以在用户设备上本地部署，引发巨大的隐私和集中式服务成本担忧。鼓舞人心的是，近期小型语言模型（SLM）在编码方面取得了显著成就。我们提出将UI任务自动化问题转换为代码生成问题，这可以被有效地由本地SLM解决，并通过本地代码解释器高效执行。与常规编码任务不同，后者可通过广泛公开数据集进行大规模预训练，但生成UI自动化代码具有多样性、复杂性和可变性。因此，我们采用面向文档的方法，自动为每个应用构建细粒度API文档，并基于该文档生成多样化任务样本。通过引导智能体使用合成文档和任务样本，它学习生成精确且高效的脚本以完成未知任务。根据与最新移动UI智能体的详细比较，我们的方法在成功率和延迟/token消耗方面显著提高了移动任务自动化。代码已开源于 https://github.com/MobileLLM/AutoDroid-V2。
引用
@article{arxiv.2412.18116,
title = {AutoDroid-V2: Boosting SLM-based GUI Agents via Code Generation},
author = {Hao Wen and Shizuo Tian and Borislav Pavlov and Wenjie Du and Yixuan Li and Ge Chang and Shanhui Zhao and Jiacheng Liu and Yunxin Liu and Ya-Qin Zhang and Yuanchun Li},
journal= {arXiv preprint arXiv:2412.18116},
year = {2025}
}
备注
13 pages, 5 figures