AutoDroid:由 LLM 驱动的 Android 任务自动化

移动任务自动化是一项颇具吸引力的技术,旨在实现基于语音的免提用户与智能手机交互。然而,现有方法由于语言理解能力有限以及开发者或终端用户所需的大量人工投入而可扩展性较差。大语言模型(LLM)在语言理解与推理方面的最新进展启发我们从以模型为中心的视角重新审视该问题,其中任务准备、理解与执行由统一的语言模型处理。在本工作中,我们提出 AutoDroid,一个能够在任意 Android 应用上处理任意任务且无需人工投入的移动任务自动化系统。其核心洞见是通过自动化动态分析将 LLM 的常识知识与应用的领域特定知识相结合。主要组件包括:将 UI 与 LLM 桥接的功能感知 UI 表示方法、增强 LLM 应用特定领域知识的基于探索的记忆注入技术,以及降低模型推理成本的多粒度查询优化模块。我们将 AutoDroid 与现成的 LLM(包括在线 GPT-4/GPT-3.5 与设备端 Vicuna)集成,并在一个包含 158 个常见任务、用于记忆增强 Android 任务自动化的新基准上评估其性能。结果表明,AutoDroid 能够精确生成操作,准确率达 90.9%,任务成功率达 71.3%,分别比基于 GPT-4 的基线高出 36.4% 和 39.7%。AutoDroid 的演示、基准套件与源代码将在 url{https://autodroid-sys.github.io/} 发布。