Android in the Wild：一个大规模安卓设备控制数据集
机器学习
2023-10-30 v2 计算与语言
人机交互
摘要
人们对设备控制系统兴趣渐增，此类系统可解读人类自然语言指令，并通过直接操控数字设备的用户界面在其上执行指令。我们提出一个用于设备控制研究的数据集 Android in the Wild（AITW），其规模比现有数据集大数个数量级。该数据集包含设备交互的人类演示，含屏幕与动作及对应自然语言指令。其由 715k 个片段组成，涵盖 30k 条唯一指令、四个安卓版本（v10-13）以及八种设备类型（Pixel 2 XL 至 Pixel 6），屏幕分辨率各异。它包含需要语言与视觉上下文语义理解的多步任务。该数据集提出新挑战：必须通过用户界面的视觉外观推断可用动作。并且，动作空间由精确手势（例如横向滚动操作轮播组件）构成，而非简单的基于 UI 元素的动作。我们组织该数据集以鼓励对设备控制系统的鲁棒性分析，即系统在新任务描述、新应用或新平台版本下的表现。我们开发了两种智能体并报告了在数据集上的性能。数据集可在 https://github.com/google-research/google-research/tree/master/android_in_the_wild 获取。
引用
@article{arxiv.2307.10088,
title = {Android in the Wild: A Large-Scale Dataset for Android Device Control},
author = {Christopher Rawles and Alice Li and Daniel Rodriguez and Oriana Riva and Timothy Lillicrap},
journal= {arXiv preprint arXiv:2307.10088},
year = {2023}
}