AURORA：通过自动神经屏幕理解来导航 UI 陷阱
软件工程
2024-11-14 v1 计算与语言
计算机视觉与模式识别
人机交互
摘要
软件工程领域已十余年致力于自动化移动应用测试，以帮助工程师克服该软件平台独特的挑战。大量工作以自动输入生成工具（AIG tools）形式出现，这些工具动态地探索应用屏幕。然而，这些工具被证明在覆盖率上低于预期，尤其是在高度专业化的专有应用上。先前的工作表明，这些覆盖不足的主要原因与所谓陷阱有关，即难以导航的复杂屏幕。在本文中，我们迈出了一项关键步伐，使 AIG tools 能够在应用探索期间有效地导航陷阱，通过一种新的自动语义屏幕理解形式。我们引入 AURORA，这是一种从移动应用 UI 的视觉和文本模式中学习，以自动检测常见屏幕设计并据此进行导航的技术。AURORA 的核心思想是，虽然移动应用屏幕设计虽有细微差异，但总体上存在有限的屏幕设计类型，从而可以学习不同类别 UI 设计的通用模式。因此，AURORA 采用一种多模态神经屏幕分类器，能够识别最常见的 UI 屏幕设计类型。识别给定屏幕后，它会应用一组灵活且可泛化的启发式方法来正确地导航该屏幕。我们在包含 12 个已知陷阱的应用以及来自 Google Play 商店最受欢迎的 5 个新应用上评估了 AURORA。我们的结果表明，AURORA 能够有效地导航陷阱屏幕，相较于回避陷阱的先前方法在方法覆盖率方面提高了 19.6%。这种改进归功于 AURORA 的 UI 设计分类和启发式导航技术。
引用
@article{arxiv.2404.01240,
title = {AURORA: Navigating UI Tarpits via Automated Neural Screen Understanding},
author = {Safwat Ali Khan and Wenyu Wang and Yiran Ren and Bin Zhu and Jiangfan Shi and Alyssa McGowan and Wing Lam and Kevin Moran},
journal= {arXiv preprint arXiv:2404.01240},
year = {2024}
}
备注
Published at 17th IEEE International Conference on Software Testing, Verification and Validation (ICST) 2024, 12 pages