Absum：降低卷积神经网络结构敏感性的简单正则化方法
机器学习
2019-09-20 v1 计算机视觉与模式识别
机器学习
摘要
我们提出Absum，一种用于提升卷积神经网络（CNNs）对抗鲁棒性的正则化方法。尽管CNNs能准确识别图像，近期研究表明CNNs中的卷积操作通常对由傅里叶基函数构成的特定噪声具有结构敏感性。利用该敏感性，他们提出了一种简单的黑盒对抗攻击：单傅里叶攻击。为降低结构敏感性，我们可对卷积滤波器权重进行正则化，因为线性变换的敏感性可由权重的范数评估。然而，标准正则化方法会因施加严苛约束以获取高鲁棒性而阻碍损失函数的最小化。为解决此问题，Absum施加宽松约束：它对卷积层中参数之和的绝对值进行惩罚。Absum能提升对单傅里叶攻击的鲁棒性，同时如标准正则化方法（如权重衰减与L1正则化）般简单高效。我们的实验表明，Absum比标准正则化方法更能提升对单傅里叶攻击的鲁棒性。此外，我们揭示带有Absum的鲁棒CNN因降低了共同敏感性而对迁移攻击更具鲁棒性，且比标准正则化方法对高频噪声更鲁棒。我们还揭示，当与对抗训练结合使用时，Absum能提升对基于梯度的攻击（投影梯度下降）的鲁棒性。
引用
@article{arxiv.1909.08830,
title = {Absum: Simple Regularization Method for Reducing Structural Sensitivity of Convolutional Neural Networks},
author = {Sekitoshi Kanai and Yasutoshi Ida and Yasuhiro Fujiwara and Masanori Yamada and Shuichi Adachi},
journal= {arXiv preprint arXiv:1909.08830},
year = {2019}
}
备注
16 pages, 39 figures