低曲率激活函数降低对抗训练中的过拟合
机器学习
2021-08-20 v2
摘要
对抗训练是抵御对抗攻击最有效的防御手段之一。先前的研究表明，过拟合是对抗训练中的主导现象，导致神经网络测试精度与训练精度之间存在巨大的泛化差距。在本工作中，我们表明所观测到的泛化差距与激活函数的选择密切相关。具体而言，我们证明使用具有低（精确或近似）曲率值的激活函数具有正则化效应，可显著减小对抗训练中的标准泛化差距与鲁棒泛化差距。我们在可微/平滑激活函数（如 SiLU）以及不可微/非平滑激活函数（如 LeakyReLU）中均观察到该效应。在后一种情况下，激活函数的“近似”曲率较低。最后，我们证明对于低曲率激活函数，对抗训练模型的双下降现象不会发生。
引用
@article{arxiv.2102.07861,
title = {Low Curvature Activations Reduce Overfitting in Adversarial Training},
author = {Vasu Singla and Sahil Singla and David Jacobs and Soheil Feizi},
journal= {arXiv preprint arXiv:2102.07861},
year = {2021}
}
备注
Accepted at ICCV 2021