基于决策的蜕变测试揭示隐藏的DNN缺陷
软件工程
2022-10-12 v1
摘要
当代DNN测试工作常使用蜕变测试(MT)进行。一般而言，既有MT框架采用保持语义的变异对DNN输入图像进行变换，并判断DNN是否能产生一致的预测。然而，我们发现DNN可能依赖错误决策(即DNN输入上的某些成分)进行预测，而这些决策仍可能偶然保留输出。此类DNN缺陷会被现有MT框架忽略。但错误决策很可能导致在真实场景存在的多样图像上连续误预测。本研究旨在揭示由不正确DNN决策(但保持一致的DNN预测)引起的隐藏DNN缺陷的普遍性。为此，我们调整并优化现代可解释人工智能(XAI)技术，以识别代表输入图像中DNN作出预测区域的可视概念。随后，我们扩展现有基于MT的DNN测试框架，以检查测试输入及其变异输入上DNN决策的一致性。我们的评估表明，现有MT框架对大量由错误决策引起的DNN缺陷视而不见。我们进行了人工评估以佐证我们发现的 validity 并阐明其特征。通过DNN基于决策的蜕变关系的视角，我们重新审视了现有MT框架提出的蜕变变换的有效性。我们总结了本研究的经验教训，可为未来DNN测试提供见解与指导。
引用
@article{arxiv.2210.04942,
title = {Unveiling Hidden DNN Defects with Decision-Based Metamorphic Testing},
author = {Yuanyuan Yuan and Qi Pang and Shuai Wang},
journal= {arXiv preprint arXiv:2210.04942},
year = {2022}
}
备注
The extended version of a paper to appear in the Proceedings of the 37th IEEE/ACM International Conference on Automated Software Engineering, 2022, (ASE '22), 13 pages