小波正则化有益于对抗训练
计算机视觉与模式识别
2022-06-09 v1
摘要
对抗训练方法是针对对抗样本的最先进(SOTA)经验性防御方法。许多正则化方法已被证明与对抗训练结合时十分有效。然而,此类正则化方法均在时域中实现。由于对抗脆弱性可视为一种高频现象,在频域中对对抗训练的神经网络模型进行正则化至关重要。面对这些挑战,我们对能够增强对抗训练的小波正则化性质进行了理论分析。我们提出了一种基于Haar小波分解的小波正则化方法,称为小波平均池化(Wavelet Average Pooling)。该小波正则化模块被集成到宽残差神经网络中,从而形成了一种新的WideWaveletResNet模型。在CIFAR-10和CIFAR-100数据集上,我们提出的对抗小波训练方法在不同类型的攻击下实现了可观的鲁棒性。这验证了我们的假设,即我们的小波正则化方法能够增强对抗鲁棒性,尤其在深度宽神经网络中。我们实现了频率原理(F-Principle)和可解释性的可视化实验以展示方法的有效性。并给出了基于不同小波基函数的详细比较。代码可在仓库获取:\url{https://github.com/momo1986/AdversarialWaveletTraining}。
引用
@article{arxiv.2206.03727,
title = {Wavelet Regularization Benefits Adversarial Training},
author = {Jun Yan and Huilin Yin and Xiaoyang Deng and Ziming Zhao and Wancheng Ge and Hao Zhang and Gerhard Rigoll},
journal= {arXiv preprint arXiv:2206.03727},
year = {2022}
}
备注
Preprint version