NPC：通过刻画深度神经网络决策逻辑的路径覆盖
机器学习
2022-03-29 v2 计算机视觉与模式识别
软件工程
摘要
深度学习近来已广泛应用于跨领域的诸多应用，例如图像分类与音频识别。然而，深度神经网络（DNNs）的质量在实际运行环境中仍引发担忧，这呼唤系统化的测试，尤其在安全关键场景中。受软件测试启发，人们设计并提出若干结构覆盖准则以衡量 DNN 的测试充分性。然而，由于 DNN 的黑箱本质，现有结构覆盖准则难以解释，使人难以理解这些准则背后的原理。结构覆盖与 DNN 决策逻辑之间的关系未知。此外，近期研究进一步揭示了结构覆盖与 DNN 缺陷检测之间不存在相关性，这进一步引发了对何为合适 DNN 测试准则的担忧。本文中，我们通过构建 DNN 的决策结构提出可解释的覆盖准则。类比传统程序的控制流图，我们首先基于 DNN 的解释提取其决策图，其中决策图的一条路径代表 DNN 的一种决策逻辑。基于决策图的控制流与数据流，我们提出两种路径覆盖变体，以衡量测试用例在演练决策逻辑上的充分性。路径覆盖越高，预期被探索的 DNN 决策逻辑越多样。我们的大规模评估结果表明：决策图中的路径能有效刻画 DNN 的决策，所提覆盖准则对包括自然错误与对抗样本在内的错误亦敏感，且与输出公平性高度相关。
引用
@article{arxiv.2203.12915,
title = {NPC: Neuron Path Coverage via Characterizing Decision Logic of Deep Neural Networks},
author = {Xiaofei Xie and Tianlin Li and Jian Wang and Lei Ma and Qing Guo and Felix Juefei-Xu and Yang Liu},
journal= {arXiv preprint arXiv:2203.12915},
year = {2022}
}
备注
27 pages. Accepted to ACM Transactions on Software Engineering and Methodology (TOSEM), 2022