用于软件测试自动化中上下文感知视觉变化检测的人工智能
软件工程
2025-10-08 v2 人工智能
摘要
自动化软件测试是软件开发过程不可或缺的组成部分，能够简化工作流并确保产品可靠性。视觉测试，特别是对于用户界面 (UI) 和用户体验 (UX) 的验证，在维护软件质量方面发挥着至关重要的作用。然而，诸如逐像素比较和基于区域的视觉变化检测等传统技术，通常无法捕捉 UI 元素之间的上下文相似性、细微变化和空间关系。在本文中，我们提出了一种新颖的基于图的方法，用于软件测试自动化中的上下文感知视觉变化检测。我们的方法利用机器学习模型 (YOLOv5) 从软件截图中检测 UI 控件，并构建一个图来建模它们的上下文和空间关系。然后使用该图结构来识别不同软件版本之间 UI 元素的对应关系，并检测有意义的变化。所提出的方法结合了递归相似性计算，融合了结构、视觉和文本线索，为 UI 变化提供了一个稳健且整体的模型。我们在一个精心策划的真实软件截图数据集上评估了我们的方法，并证明它能可靠地检测简单和复杂的 UI 变化。我们的方法显著优于逐像素和基于区域的基线方法，特别是在需要上下文理解的场景中。我们还讨论了当前在数据集多样性、基线复杂性和模型泛化方面的局限性，并概述了计划中的未来改进。总体而言，我们的工作推进了视觉变化检测领域的技术发展水平，并为提高不断演化的软件界面的可靠性和可维护性提供了一个实用的解决方案。
引用
@article{arxiv.2405.00874,
title = {Artificial intelligence for context-aware visual change detection in software test automation},
author = {Milad Moradi and Ke Yan and David Colwell and Rhona Asgari},
journal= {arXiv preprint arXiv:2405.00874},
year = {2025}
}