弥合对抗鲁棒性与优化偏置之间的鸿沟
机器学习
2021-06-08 v2 计算机视觉与模式识别
机器学习
摘要
我们证明了优化器、神经网络架构和正则化器的选择会显著影响线性神经网络的对抗鲁棒性，从而在无需对抗训练的情况下提供保证。为此，我们重新审视了将最大鲁棒分类器与最小范数解联系起来的已知结果，并将其与近期关于优化器隐式偏置的结果相结合。首先，我们表明，在某些条件下，仅通过利用优化的隐式偏置训练过参数化模型，就有可能同时实现完美的标准准确率和一定程度的鲁棒性。在该机制下，优化器的类型与其所鲁棒面对的攻击之间存在直接关系。据我们所知，本工作是首个研究符号梯度下降和近端方法等优化方法对对抗鲁棒性影响的工作。其次，我们刻画了线性卷积模型的鲁棒性，表明它们能抵抗受 Fourier- 范数约束的攻击。为说明这些发现，我们设计了一种新颖的 Fourier- 攻击，可寻找具有可控频率的对抗样本。我们评估了来自标准 RobustBench 基准的对抗训练深度 CIFAR-10 模型的 Fourier- 鲁棒性，并对对抗扰动进行了可视化。
引用
@article{arxiv.2102.08868,
title = {Bridging the Gap Between Adversarial Robustness and Optimization Bias},
author = {Fartash Faghri and Sven Gowal and Cristina Vasconcelos and David J. Fleet and Fabian Pedregosa and Nicolas Le Roux},
journal= {arXiv preprint arXiv:2102.08868},
year = {2021}
}
备注
New CIFAR-10 experiments and Fourier attack variations