面向鲁棒神经网络的随机自集成方法

近期研究揭示了深度神经网络的脆弱性：人类难以察觉的微小对抗扰动即可轻易使训练良好的深度神经网络误分类。这使得在安全性关键应用中部署神经网络存在风险。本文提出一种称为随机自集成（Random Self-Ensemble, RSE）的新防御算法，结合了两个重要概念：随机性与集成。为保护目标模型，RSE 在神经网络中添加随机噪声层以抵御强基于梯度的攻击，并对随机噪声上的预测进行集成以稳定性能。我们表明，该算法等价于集成无限多个噪声模型 $f_\epsilon$ 而无需任何额外内存开销，且所提出的基于噪声随机梯度下降的训练过程可确保集成模型具备良好的预测能力。我们的算法在真实数据集上显著优于以往的防御技术。例如，在 CIFAR-10 上使用 VGG 网络（无攻击时准确率为 92%），在强 C&W 攻击且特定失真容限下，未保护模型的准确率降至 10% 以下，以往最佳防御技术准确率为 48%，而我们的方法在相同攻击水平下仍具有 86% 的预测准确率。最后，我们的方法简单且易于集成到任意神经网络中。