神经网络测试的结构覆盖度度量综述
软件工程
2022-08-09 v1 人工智能
机器学习
摘要
深度神经网络（DNN）模型，包括用于安全关键领域的模型，都需要被充分测试，以确保其在不同场景中可靠表现良好。本文综述了用于测试 DNN 模型的结构覆盖度度量，包括神经元覆盖（NC）、k-分段神经元覆盖（kMNC）、top-k 神经元覆盖（TKNC）、神经元边界覆盖（NBC）、强神经元激活覆盖（SNAC）以及修正条件/判定覆盖（MC/DC）。我们在用于感知任务的真实 DNN 模型（包括 LeNet-1、LeNet-4、LeNet-5 和 ResNet20）以及用于自主系统的网络（TaxiNet）上评估了这些度量。我们还提供了一个工具 DNNCov，可度量所有这些度量的测试覆盖度。DNNCov 输出信息丰富的覆盖报告，使研究者和从业者能够评估 DNN 测试的充分性、比较不同覆盖度量，并更便捷地在测试期间检查模型内部。
引用
@article{arxiv.2208.03407,
title = {An Overview of Structural Coverage Metrics for Testing Neural Networks},
author = {Muhammad Usman and Youcheng Sun and Divya Gopinath and Rishi Dange and Luca Manolache and Corina S. Pasareanu},
journal= {arXiv preprint arXiv:2208.03407},
year = {2022}
}