PopSweeper: 自动检测与解决移动 GUI 测试中的弹窗以提升自动化测试效率
软件工程
2024-12-05 v1
摘要
图形用户界面（GUI）是用户与移动应用交互的主要方式，对于应用的功能和用户体验至关重要。然而，自动化测试面临的一个主要挑战是应用阻塞性弹窗（如广告或系统警告）频繁弹出，这些弹窗遮挡关键 UI 元素并中断测试执行，常常需要人工干预。这种中断会导致测试结果不准确、测试时间增加以及可靠性下降，尤其是对于进行大规模应用测试的利益相关者而言影响尤为突出。为此，我们引入 PopSweeper，这是一个 novel tool，用于在自动化 GUI 测试期间实时检测和解决应用阻塞性弹窗。PopSweeper 结合深度学习计算机视觉技术进行弹窗检测和关闭按钮定位，能够自主识别弹窗并确保测试过程不中断。我们在来自 RICO 数据集的 72,000 多张应用截图以及从应用商店收集的 87 个热门移动应用中进行了评估，手动识别出 832 个应用阻塞性弹窗。PopSweeper 在弹窗分类中实现 91.7% 的精确率和 93.5% 的召回率，在关闭按钮检测中实现 93.9% 的 BoxAP 且召回率达 89.2%。此外，端到端评估表明，PopSweeper 在 87.1% 的应用中成功解决了阻塞问题，仅带来最小的开销，实现每帧分类和关闭按钮检测在 60 毫秒内完成。这些结果凸显了 PopSweeper 在通过减轻弹窗中断来提升自动化 GUI 测试准确性和效率的能力。
引用
@article{arxiv.2412.02933,
title = {PopSweeper: Automatically Detecting and Resolving App-Blocking Pop-Ups to Assist Automated Mobile GUI Testing},
author = {Linqiang Guo and Wei Liu and Yi Wen Heng and Tse-Hsun and Chen and Yang Wang},
journal= {arXiv preprint arXiv:2412.02933},
year = {2024}
}