通过由宏动作组成的演示学习 UI 导航
人工智能
2021-10-19 v1
摘要
我们开发了一个框架，用于可靠地构建具备UI导航能力的智能体。状态空间从原始像素简化为从屏幕理解（如OCR与图标检测）提取的一组UI元素。动作空间被限制为这些UI元素加上少量全局动作。动作可按任务定制，且每个动作是一系列基于状态检查而条件触发的基本操作。借助这样的设计，我们能用少量演示回合训练DQfD与BC智能体。我们提出了演示增强方法，显著减少了所需的人工演示数量。我们对DQfD做了定制，以允许在截图上收集的演示，从而便于对罕见情况的演示覆盖。演示仅在评估上一版智能体失败的案例时收集。经过数十次评估、演示收集与训练的循环迭代，该智能体在包含80余个应用与网站、且初始状态与查看参数均随机化的环境中，于搜索任务上达到了98.7%的成功率。
引用
@article{arxiv.2110.08653,
title = {Learning UI Navigation through Demonstrations composed of Macro Actions},
author = {Wei Li},
journal= {arXiv preprint arXiv:2110.08653},
year = {2021}
}