重新审视用于DNN测试的神经元覆盖率：一种分层且分布感知的准则
机器学习
2022-12-19 v2 软件工程
摘要
为评估DNN测试输入并引导输入变异，已提出多种深度神经网络（DNN）覆盖率准则。覆盖率通过具有特定输出的神经元或神经元输出间的差异来刻画。然而，近期研究表明神经元覆盖率准则与测试套件质量相关性甚微。一般而言，DNN通过分层结构逼近分布，以对输入做出预测。因此，我们主张从层的视角基于其逼近的分布推导DNN行为。测试套件应使用其诱导的层输出分布来评估。相应地，为充分检验DNN行为，输入变异应朝向使逼近分布多样化的方向引导。本文总结了考虑分布特性与实际关注的DNN覆盖率准则的八项设计要求。我们随后提出满足所有设计要求的新准则NeuraL Coverage（NLC）。NLC将单个DNN层作为基本计算单元（而非单个神经元）并捕获神经元输出分布的四个关键性质。因此，NLC准确地描述了DNN如何通过逼近分布理解输入。我们证明NLC在多个任务（分类与生成）和数据格式（图像与文本）上与测试套件的多样性显著相关。其发现DNN预测错误的能力大有前景。由NLC引导的测试输入变异可暴露出更高质量和多样性的错误行为。
引用
@article{arxiv.2112.01955,
title = {Revisiting Neuron Coverage for DNN Testing: A Layer-Wise and Distribution-Aware Criterion},
author = {Yuanyuan Yuan and Qi Pang and Shuai Wang},
journal= {arXiv preprint arXiv:2112.01955},
year = {2022}
}
备注
The extended version of a paper to appear in the Proceedings of the 45th IEEE/ACM International Conference on Software Engineering, 2023, (ICSE '23), 14 pages