面向移动 GUI 代理的 Android 多标注展望数据集
人机交互
2025-08-15 v2 人工智能
多媒体
摘要
AI 代理因其感知环境、理解任务和自主实现目标的能力而受到广泛关注。为推动移动场景下 AI 代理的研究，我们介绍了 Android 多标注展望 (AMEX) 数据集，这是一个综合性、大规模的数据集，旨为通用移动 GUI 控制代理提供支持，这类代理能够通过直接与移动设备上图形用户界面 (GUI) 的交互来完成任务。AMEX 包含来自流行移动应用的 104K 张高分辨率屏幕截图，具有多层次标注。与现有 GUI 数据集（如 Rico、AitW 等）不同，AMEX 包含三层标注：GUI 交互元素定位、GUI 屏幕和元素功能描述，以及带有分步 GUI 操作链的复杂自然语言指令。我们从更具指导性和细致的角度构建了该数据集，补充了现有数据集的通用设置。此外，我们微调了基线模型 SPHINX Agent，展示了 AMEX 的有效性。该项目可在 https://yxchai.com/AMEX/ 访问。
引用
@article{arxiv.2407.17490,
title = {AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents},
author = {Yuxiang Chai and Siyuan Huang and Yazhe Niu and Han Xiao and Liang Liu and Dingyu Zhang and Shuai Ren and Hongsheng Li},
journal= {arXiv preprint arXiv:2407.17490},
year = {2025}
}