参数化激活函数以增强对抗鲁棒性

深度神经网络已知易受对抗扰动输入的攻击。一种常用的防御手段是对抗训练，其性能受模型容量影响。尽管先前工作研究了改变模型宽度和深度对鲁棒性的影响，但通过可学习参数化激活函数（PAFs）增加容量的影响尚未被研究。我们研究如何使用可学习PAFs结合对抗训练来提升鲁棒性。我们首先提出一个问题：应如何将参数引入激活函数以提升鲁棒性？为此，我们通过PAFs分析激活函数形状对鲁棒性的直接影响，观察到在负输入上具有正输出且有限曲率较高的激活形状能够增强鲁棒性。我们结合这些性质创建了一种新的PAF，称之为参数化偏移S型线性单元（Parametric Shifted Sigmoidal Linear Unit, PSSiLU）。随后我们将PAFs（包括PReLU、PSoftplus和PSSiLU）与对抗训练结合并分析鲁棒性能。我们发现PAFs优化趋向于直接 affect 鲁棒性的激活形状性质。此外，我们发现仅向网络引入1-2个可学习参数，平滑PAFs即可显著提升相对于ReLU的鲁棒性。例如，在CIFAR-10上使用额外合成数据训练时，在$\ell_{\infty}$威胁模型下，PSSiLU在ResNet-18上比ReLU提升4.54%鲁棒准确率，在WRN-28-10上比ReLU提升2.69%，而仅向网络架构增加2个参数。PSSiLU WRN-28-10模型达到61.96%的AutoAttack准确率，超越了RobustBench（Croce等人，2020）上的最先进鲁棒准确率。