UINav：一种训练设备端自动化代理的实用方法
人机交互
2024-07-01 v4 人工智能
摘要
能够自主驱动应用程序用户界面完成用户任务的自动化系统非常有益，尤其是当用户处于情境性或永久性障碍时。先前的自动化系统无法生成可泛化的模型，而基于AI的自动化代理仅在简单、手工制作的应用程序中可靠工作，或产生高计算成本。我们提出UINav，一种基于演示的方法来训练适合移动设备的自动化代理，同时以适度的演示数量实现高成功率。为了减少演示开销，UINav使用一个裁判模型，在代理失败的任务上为用户提供即时反馈，并自动增强人类演示以增加训练数据的多样性。我们的评估表明，仅需10个演示，UINav即可达到70%的准确率，而通过足够的演示，它可以超过90%的准确率。
引用
@article{arxiv.2312.10170,
title = {UINav: A Practical Approach to Train On-Device Automation Agents},
author = {Wei Li and Fu-Lin Hsu and Will Bishop and Folawiyo Campbell-Ajala and Max Lin and Oriana Riva},
journal= {arXiv preprint arXiv:2312.10170},
year = {2024}
}