现代软件质量保障中的人工智能驱动工具:益处、挑战与未来方向的评估
软件工程
2025-06-23 v1 人工智能
摘要
传统的质量保障(QA)方法在应对现代软件系统的复杂性、规模以及快速迭代周期方面面临重大挑战,且受限于可用资源,导致因质量低下而产生高昂成本。本研究的对象是现代分布式软件应用的质量保障流程。研究主题是评估将现代人工智能工具集成到质量保障流程中的益处、挑战与前景。我们对验证与确认过程所受的影响进行了全面分析,涵盖探索性测试分析、等价类划分与边界分析、蜕变测试、验收准则(AC)中的不一致性发现、静态分析、测试用例生成、单元测试生成、测试套件优化与评估以及端到端场景执行。作为概念验证,我们实现了在生成的测试场景上利用 AI 智能体对某样本企业应用进行端到端回归测试,凸显了本研究的实际应用价值。结果显示,生成的测试用例中仅有 8.3% 的执行出现不稳定(flaky),表明所提方法具有显著潜力。然而,本研究也识别出实际应用中的重大挑战,包括生成语义等价覆盖的难题、最先进大语言模型(LLM)的"黑箱"特性与可解释性不足,以及倾向于将变异后的测试用例修正为与预期结果一致,这些都凸显了对所生成的制品与测试执行结果进行彻底验证的必要性。本研究表明了 AI 对质量保障的变革性潜力,但同时强调了在实施这些技术时采取战略性方法的重要性,需考虑已识别的局限性以及开发相应验证方法的必要性。
引用
@article{arxiv.2506.16586,
title = {AI-Driven Tools in Modern Software Quality Assurance: An Assessment of Benefits, Challenges, and Future Directions},
author = {Ihor Pysmennyi and Roman Kyslyi and Kyrylo Kleshch},
journal= {arXiv preprint arXiv:2506.16586},
year = {2025}
}
备注
11 pages, 9 figures