AI 驱动的软件测试工具：对其功能和局限性的系统综述与实证评估
软件工程
2025-05-02 v3
摘要
背景：人工智能 (AI) 在软件工程中的兴起促进了 AI 驱动的测试自动化工具的发展，这些工具有望提高效率、减少维护工作并增强缺陷检测能力。然而，需要对这些工具进行系统评估，以了解其能力、优势和局限性。目标：本研究有两个目标：(1) 对 AI 辅助的测试自动化工具进行系统综述，对其关键的 AI 功能进行分类；(2) 在两个被测软件上对两个选定的 AI 驱动工具进行实证研究，以调查这些工具有效性和局限性。方法：对 55 个基于 AI 的测试自动化工具进行了系统综述，根据其 AI 辅助能力（如自愈测试、视觉测试和 AI 驱动的测试生成）对其进行了分类。在第二阶段，选择了两个代表性工具进行实证研究，将它们应用于测试两个开源软件系统。将它们的性能与传统的测试自动化方法进行比较，以评估效率和适应性。结果：该综述提供了 AI 驱动测试工具的全面分类法，突出了共同特征和趋势。实证评估表明，AI 驱动的自动化提高了测试执行效率并减少了维护工作，但也暴露了诸如处理复杂的 UI 变化和上下文理解等局限性。结论：AI 驱动的测试自动化工具在提高软件质量和减少手动测试工作方面显示出巨大潜力。然而，它们目前的局限性——如误报、缺乏领域知识以及对预定义模型的依赖——表明需要进一步改进。未来的研究应侧重于推进 AI 模型，以提高软件测试中的适应性、可靠性和鲁棒性。
引用
@article{arxiv.2409.00411,
title = {AI-powered software testing tools: A systematic review and empirical assessment of their features and limitations},
author = {Vahid Garousi and Nithin Joy and Zafar Jafarov and Alper Buğra Keleş and Sevde Değirmenci and Ece Özdemir and Ryan Zarringhalami},
journal= {arXiv preprint arXiv:2409.00411},
year = {2025}
}