剪枝能否提升神经网络的认证鲁棒性？
机器学习
2022-06-20 v2
摘要
随着深度学习的快速发展，神经网络的规模变得越来越大，以至于训练和推理常常超出硬件资源的负荷。鉴于神经网络往往存在过参数化现象，一种降低此类计算开销的有效方法是对训练好的神经网络进行剪枝，即移除冗余参数。近来有观察表明，剪枝不仅能减少计算开销，还能提升深度神经网络（NNs）的经验鲁棒性，这可能是由于在保持预测精度的同时去除了虚假相关性。本文首次证明，在完全验证设定下，剪枝通常能够提升基于 ReLU 的 NNs 的认证鲁棒性。利用流行的分支定界（Branch-and-Bound, BaB）框架，我们发现剪枝可通过缓解线性松弛和子域划分问题，增强认证鲁棒性验证的估计边界紧度。我们使用现成的剪枝方法对发现进行了实证验证，并进一步提出了一种针对降低神经元不稳定性而定制的基于稳定性的新剪枝方法，其在增强认证鲁棒性方面优于现有剪枝方法。我们的实验表明，在 CIFAR10 数据集上，通过适当剪枝一个 NN，其认证准确率在标准训练下可提升高达 8.2%，在对抗训练下可提升高达 24.5%。我们还观察到存在认证彩票票（certified lottery tickets），其能在不同数据集上匹配原始稠密模型的标准与认证鲁棒准确率。我们的发现为研究稀疏性与鲁棒性之间有趣的交互提供了新视角，即通过神经元稳定性来解释稀疏性与认证鲁棒性的交互。代码见：https://github.com/VITA-Group/CertifiedPruning。
引用
@article{arxiv.2206.07311,
title = {Can pruning improve certified robustness of neural networks?},
author = {Zhangheng Li and Tianlong Chen and Linyi Li and Bo Li and Zhangyang Wang},
journal= {arXiv preprint arXiv:2206.07311},
year = {2022}
}