重新思考深度神经网络测试中的多样性
软件工程
2024-02-28 v2 人工智能
摘要
受传统软件测试成功的启发，已有众多用于测试深度神经网络（DNNs）的多样性度量被提出。本研究主张视角转换，倡导将 DNN 测试视为定向测试问题，而非基于多样性的测试任务。我们注意到 DNN 测试的目标具体且明确：识别导致误分类的输入。因此，更精确的测试方法是优先处理更有可能引发误分类的输入，而非强调增强“多样性”的输入。我们推导出六种用于 DNN 测试的定向度量。此外，我们仔细分析了各度量的适用范畴，因为将度量应用于其预期范畴之外会显著削弱其有效性。我们的评估表明：（1）多样性度量在识别由微小输入扰动导致的缺陷输入方面尤为薄弱；（2）在所有场景中，我们的定向度量在揭示 DNN 错误行为方面始终优于多样性度量。
引用
@article{arxiv.2305.15698,
title = {Rethinking Diversity in Deep Neural Network Testing},
author = {Zi Wang and Jihye Choi and Ke Wang and Somesh Jha},
journal= {arXiv preprint arXiv:2305.15698},
year = {2024}
}