基于大语言模型的手机GUI智能体：进展与展望
人机交互
2025-11-18 v3
摘要
随着大语言模型(LLM)的快速崛起，手机自动化经历了变革性的变化。本文系统性地综述了LLM驱动的手机GUI智能体，突出其从基于脚本的自动化向智能、自适应系统的演变。我们首先阐述关键挑战：(i) 通用性有限、(ii) 维护开销大、(iii) 意图理解弱，并展示LLM如何通过先进的语言理解、多模态感知和稳健决策解决这些问题。随后，我们提出一种覆盖基本智能体框架(单智能体、多智能体、计划-行动)、建模方法(提示工程、训练驱动)以及必需数据集和基准的分类体系。进一步，我们详细描述了特定任务的架构、监督微调和强化学习策略，这些策略桥接用户意图与GUI操作。最后，我们讨论了诸多开放挑战，如数据集多样性、设备端部署效率、用户中心适应性和安全问题，提供前瞻性见解以指导这一快速发展领域。通过提供结构化概览并识别紧迫的研究空白，本文为寻求利用LLM设计可扩展、用户友好手机GUI智能体的研究者和实践者提供了权威参考。本文所综述的论文集合将托管于GitHub仓库并定期更新：https://github.com/PhoneLLM/Awesome-LLM-Powered-Phone-GUI-Agents
引用
@article{arxiv.2504.19838,
title = {LLM-Powered GUI Agents in Phone Automation: Surveying Progress and Prospects},
author = {Guangyi Liu and Pengxiang Zhao and Yaozhen Liang and Liang Liu and Yaxuan Guo and Han Xiao and Weifeng Lin and Yuxiang Chai and Yue Han and Shuai Ren and Hao Wang and Xiaoyu Liang and WenHao Wang and Tianze Wu and Zhengxi Lu and Siheng Chen and LiLinghao and Hao Wang and Guanjing Xiong and Yong Liu and Hongsheng Li},
journal= {arXiv preprint arXiv:2504.19838},
year = {2025}
}
备注
Paper accepted to TMLR 2025, Project Homepage: https://github.com/PhoneLLM/Awesome-LLM-Powered-Phone-GUI-Agents