通过邻域保持层提升神经网络鲁棒性
机器学习
2021-02-01 v2
摘要
神经网络对对抗攻击的鲁棒性是机器学习领域的一个重要研究课题。我们观察到神经网络脆弱性的一个主要来源在于过度参数化的全连接层。本文中，我们提出一种新的邻域保持层，可替代这些全连接层以提升网络鲁棒性。我们展示了一种能够融入此类层且可高效训练的神经网络新架构。我们从理论上证明，由于有效控制了梯度幅值，我们的模型对扰动更具鲁棒性。最后，我们通过实验表明，我们所设计的网络架构对基于最先进梯度下降的攻击（如基准数据集 MNIST 和 CIFAR10 上的 PGD 攻击）更具鲁棒性。
引用
@article{arxiv.2101.11766,
title = {Improving Neural Network Robustness through Neighborhood Preserving Layers},
author = {Bingyuan Liu and Christopher Malon and Lingzhou Xue and Erik Kruus},
journal= {arXiv preprint arXiv:2101.11766},
year = {2021}
}
备注
An earlier short version of this paper without proof is presented in 25th International Conference on Pattern Recognition(ICPR), Manifold Learning from Euclid to Riemann workshop