AppBuddy：通过强化学习在移动应用中学会完成任务
人工智能
2021-06-08 v2
摘要
人类，即便是幼童，也能迅速熟练地弄懂如何使用移动设备上的应用程序。学习使用新应用通常通过试错实现，并因过往类似应用经验的迁移而加速。构建更智能的智能手机——能够学习如何利用移动应用完成任务——的前景令人神往。本文探索使用强化学习（RL）以推进这一愿景。我们引入一个基于 RL 的框架，用于学习在移动应用中完成任务。RL 智能体获得由屏幕上元素的底层表示导出的状态，以及基于任务进展给予的奖励。智能体可通过点击或键入与屏幕元素交互。我们在多个移动应用上的实验结果表明，RL 智能体能够学会完成多步任务，并在不同应用间实现一定程度的泛化。更一般地，我们开发了一个平台，解决了若干工程挑战以构建高效的 RL 训练环境。我们的 AppBuddy 平台兼容 OpenAI Gym，并包含一套移动应用与基准任务，支持移动应用场景下多样化的 RL 研究。
引用
@article{arxiv.2106.00133,
title = {AppBuddy: Learning to Accomplish Tasks in Mobile Apps via Reinforcement Learning},
author = {Maayan Shvo and Zhiming Hu and Rodrigo Toro Icarte and Iqbal Mohomed and Allan Jepson and Sheila A. McIlraith},
journal= {arXiv preprint arXiv:2106.00133},
year = {2021}
}