Sparta：空间注意力对抗鲁棒激活函数

对抗训练（AT）是提高深度卷积神经网络（CNN）鲁棒性的最有效方法之一。如同常规网络训练，AT的有效性依赖于基础网络组件的设计。本文深入研究了基础ReLU激活组件在鲁棒CNN的AT中的作用。我们发现，ReLU激活的空间共享与输入无关特性使得CNN在白盒对抗攻击下（无论采用标准训练还是对抗训练）鲁棒性较弱。为解决该问题，我们将ReLU扩展为一种新颖的Sparta激活函数（空间注意力对抗鲁棒激活，Spatially attentive and Adversarially Robust Activation），其使CNN相比现有最先进（SOTA）激活函数取得更高的鲁棒性（即对抗样本上更低的错误率）与更高的准确率（即干净样本上更低的错误率）。我们进一步研究了Sparta与SOTA激活函数之间的关系，为所提方法的优势提供更多见解。通过全面实验，我们还发现所提方法展现出优越的跨CNN与跨数据集可迁移性。对于前者，为一个CNN（如ResNet-18）对抗训练的Sparta函数可固定并直接用于训练另一个对抗鲁棒CNN（如ResNet-34）。对于后者，在一个数据集（如CIFAR-10）上训练的Sparta函数可用于在另一数据集（如SVHN）上训练对抗鲁棒CNN。在这两种情况下，Sparta均使CNN取得比原始ReLU更高的鲁棒性，验证了所提方法的灵活性与通用性。