理解稀疏性对神经网络鲁棒性的影响
计算机视觉与模式识别
2022-06-23 v1
摘要
本文考察静态稀疏性对训练后网络在权重扰动、数据损坏与对抗样本方面鲁棒性的影响。我们表明，在通过增加网络宽度与深度同时保持网络容量固定所实现的某一稀疏度范围内，稀疏化网络始终与初始稠密版本相当且常优于后者。由于网络层间连接松散，极高稀疏度下鲁棒性与准确率同步下降。我们的发现表明，文献中观察到的由网络压缩引起的鲁棒性急剧下降源于网络容量减小而非稀疏性。
引用
@article{arxiv.2206.10915,
title = {Understanding the effect of sparsity on neural networks robustness},
author = {Lukas Timpl and Rahim Entezari and Hanie Sedghi and Behnam Neyshabur and Olga Saukh},
journal= {arXiv preprint arXiv:2206.10915},
year = {2022}
}