重新审视神经元覆盖率指标与深度神经网络的质量
软件工程
2022-01-04 v1
摘要
深度神经网络（DNN）已广泛应用于现代生活，包括自动驾驶等关键领域，使得确保 DNN 驱动系统的可靠性和鲁棒性至关重要。作为对传统软件测试代码覆盖率指标的类比，研究者提出了神经元覆盖率指标和覆盖率驱动的方法来生成 DNN 测试用例。然而，Yan 等人质疑现有覆盖率准则在 DNN 测试中的有用性。他们表明，在揭示缺陷和提升模型鲁棒性方面，覆盖率驱动方法不如基于梯度的方法有效。在本文中，我们对 Yan 等人的工作进行了复现研究，并扩展实验以进行更深入的分析。我们纳入了一个更大的模型和更高分辨率图像的数据集，以检验结果的泛化性。我们还用更多测试用例生成技术扩展了实验，并调整提升模型鲁棒性的过程使其更贴近 DNN 开发的实际生命周期。我们的实验结果证实了 Yan 等人的结论，即覆盖率驱动方法不如基于梯度的方法有效。Yan 等人发现，使用基于梯度的方法重新训练无法修复覆盖率驱动方法揭示的缺陷。他们将此归因于两类方法使用不同的扰动策略：基于梯度的方法执行可微变换，而覆盖率驱动方法可执行额外的不可微变换。我们检验了若干假设，并进一步表明即使覆盖率驱动方法被限制为仅执行可微变换，其所揭示的缺陷仍无法通过对抗训练用基于梯度的方法修复。因此，应进一步研究针对覆盖率驱动方法的防御策略。
引用
@article{arxiv.2201.00191,
title = {Revisiting Neuron Coverage Metrics and Quality of Deep Neural Networks},
author = {Zhou Yang and Jieke Shi and Muhammad Hilmi Asyrofi and David Lo},
journal= {arXiv preprint arXiv:2201.00191},
year = {2022}
}
备注
Accepted to the RENE Track in SANER 2022