基于LLM流程自动化的智能虚拟助手
机器学习
2023-12-13 v1 人工智能
计算与语言
摘要
尽管像Siri、Alexa和Google Assistant这样的智能虚拟助手在现代生活中已无处不在，但它们在遵循多步指令和完成用自然语言表达的复杂目标方面仍然面临限制。然而，大型语言模型（LLMs）的最新突破显示出通过增强自然语言处理和推理能力来克服现有障碍的潜力。尽管前景广阔，但应用LLMs创建更先进的虚拟助手仍面临挑战，例如确保鲁棒性能和处理现实世界用户命令的可变性。本文提出了一种新颖的基于LLM的虚拟助手，该助手能够根据高级用户请求在移动应用内自动执行多步操作。该系统通过提供解析指令、推理目标和执行操作的端到端解决方案，代表了助手技术的进步。基于LLM的流程自动化（LLMPA）具有用于分解指令、生成描述、检测界面元素、预测下一步操作和错误检查的模块。实验证明，该系统能够根据自然语言指令在支付宝中完成复杂的移动操作任务。这展示了大型语言模型如何使自动化助手能够完成现实世界的任务。主要贡献包括针对应用流程自动化优化的新颖LLMPA架构、将LLMs应用于移动应用的方法论，以及在真实环境中完成多步任务的演示。值得注意的是，这项工作代表了一个基于大型语言模型的虚拟助手在拥有数亿庞大用户群的广泛使用的移动应用中的首次真实世界部署和广泛评估。
引用
@article{arxiv.2312.06677,
title = {Intelligent Virtual Assistants with LLM-based Process Automation},
author = {Yanchu Guan and Dong Wang and Zhixuan Chu and Shiyu Wang and Feiyue Ni and Ruihua Song and Longfei Li and Jinjie Gu and Chenyi Zhuang},
journal= {arXiv preprint arXiv:2312.06677},
year = {2023}
}