面向视觉基深度学习系统的测试输入验证：主动学习方法
软件工程
2025-01-06 v1
摘要
测试深度学习（DL）系统需要大量且多样的有效测试输入。虽然合成测试输入生成方法（如变形测试）广泛用于 DL 测试，但可能引入不真实的场景下的无效输入。无效测试输入可能导致误导性结果。因此，需要自动化测试输入验证以确保对 DL 系统的有效评估。本文提出一种针对视觉基 DL 系统的测试输入验证方法。该方法使用主动学习平衡准确率与手动验证工作量之间的权衡。此外，通过采用多种图像比较指标，可在仅使用单一指标的方法中实现更好的有效/无效测试输入分类效果。我们使用工业数据集和公共数据集进行评估。评估结果表明，我们的多指标、基于主动学习的方法在多个准确率-工作量权衡点上均表现出优异性能，其中包括被我们工业合作伙伴认为实用且令人满意的点。进一步地，在相同手动工作量下，我们的方法在准确率上显著优于两个最先进的测试输入验证方法，平均准确率达到 97%。具体而言，相对于最先进基准，仅使用多指标即可实现整体准确率至少提升 5.4%。引入主动学习循环进行测试输入验证可使平均准确率额外提升 7.5%，使本方法相对于基准的总体平均准确率提升幅度达到至少 12.9%。
引用
@article{arxiv.2501.01606,
title = {Test Input Validation for Vision-based DL Systems: An Active Learning Approach},
author = {Delaram Ghobari and Mohammad Hossein Amini and Dai Quoc Tran and Seunghee Park and Shiva Nejati and Mehrdad Sabetzadeh},
journal= {arXiv preprint arXiv:2501.01606},
year = {2025}
}
备注
This paper has been accepted at the Software Engineering in Practice (SEIP) track of the 47th International Conference on Software Engineering (ICSE 2025)