E-ANT：用于高效自动 GUI 导航的大规模数据集
计算机视觉与模式识别
2024-07-02 v3 人机交互
摘要
在移动设备上进行在线 GUI 导航近年来受到广泛关注，因为它为许多实际应用提供了支持。随着大语言模型（LLM）的快速发展，多模态大语言模型（MLLM）在该任务中展现出巨大的潜力。然而，现有的 MLLM 需要高质量的数据来提高其根据人类用户输入做出正确导航决策的能力。本文开发了名为 \textbf{E-ANT} 的新型且价值极高的数据集，作为首个包含真实人类行为和带有注释的高质量屏幕截图的中文 GUI 导航数据集，包含 nearly 40,000 条真实的人类轨迹，覆盖 5000+ 个不同的小型 APP。此外，我们在 E-ANT 上评估了各种强大的 MLLM，并展示了充分的消融实验结果。我们相信，提出的数据集将对 GUI 导航和 LLM/MLLM 决策能力的评估与开发都有所帮助。
引用
@article{arxiv.2406.14250,
title = {E-ANT: A Large-Scale Dataset for Efficient Automatic GUI NavigaTion},
author = {Ke Wang and Tianyu Xia and Zhangxuan Gu and Yi Zhao and Shuheng Shen and Changhua Meng and Weiqiang Wang and Ke Xu},
journal= {arXiv preprint arXiv:2406.14250},
year = {2024}
}
备注
9 pages, 5 figures, Under review