兴奋过度终致错:基于可兴奋神经元的深度学习测试框架
机器学习
2022-11-22 v2 人工智能
密码学与安全
计算机视觉与模式识别
摘要
尽管深度神经网络(DNNs)具备令人印象深刻的能力与出色性能,但其频繁出现的错误行为引发了公众对其安全性问题的日益关注。因此,在将DNNs部署到实际应用之前,有必要对其进行系统性测试。现有测试方法已基于神经元覆盖率提供了细粒度指标,并提出了多种提升此类指标的方法。然而,人们逐渐意识到更高的神经元覆盖率并不一定代表更好的识别导致错误的缺陷的能力。此外,覆盖率引导的方法无法捕捉因训练过程有误而产生的错误。因此,通过这些测试样本再训练来提升DNN鲁棒性的效果不尽如人意。为应对该挑战,我们基于Shapley值引入可兴奋神经元的概念,并设计了一种新颖的DNN白盒测试框架,即DeepSensor。其动机源于我们的观察:因微小扰动而对模型损失变化负有更大责任的神经元,更可能与潜在缺陷导致的错误边界情况相关。通过最大化与模型各类错误行为相关的可兴奋神经元数量,DeepSensor能够生成有效触发更多由对抗样本、污染数据和训练不完整所致错误的测试样本。在图像分类模型与说话人识别模型上进行的广泛实验证明了DeepSensor的优越性。
引用
@article{arxiv.2202.07464,
title = {Excitement Surfeited Turns to Errors: Deep Learning Testing Framework Based on Excitable Neurons},
author = {Haibo Jin and Ruoxi Chen and Haibin Zheng and Jinyin Chen and Yao Cheng and Yue Yu and Xianglong Liu},
journal= {arXiv preprint arXiv:2202.07464},
year = {2022}
}
备注
32 pages