测试深度学习模型：多种测试技术的首次比较研究
软件工程
2022-07-12 v1 机器学习
摘要
深度学习（DL）已彻底改变了基于视觉的系统（VBS）在自动驾驶、机器人手术、关键基础设施监控、空中与海上交通管制等关键应用中的能力。通过分析图像、语音、视频或任何类型的复杂信号，DL 显著提升了这些系统的态势感知能力。与此同时，随着对训练后 DL 模型的日益依赖，VBS 的可靠性与鲁棒性受到挑战，彻底测试这些模型以评估其能力与潜在错误已变得至关重要。为发现 DL 模型中的缺陷，现有软件测试方法已被相应调整与改进。在本文中，我们概述了这些软件测试方法，即差分测试、蜕变测试、变异测试和组合测试，以及对抗扰动测试，并回顾了它们在提升 VBS 所用感知系统部署中的一些挑战。我们还基于 VBS 中使用的经典基准进行了首次实验比较研究，并讨论了其结果。
引用
@article{arxiv.2202.12139,
title = {Testing Deep Learning Models: A First Comparative Study of Multiple Testing Techniques},
author = {Mohit Kumar Ahuja and Arnaud Gotlieb and Helge Spieker},
journal= {arXiv preprint arXiv:2202.12139},
year = {2022}
}
备注
Artificial Intelligence in Software Testing 2022 workshop @ ICST 2022