探究网络架构与对抗鲁棒泛化之间的关系
机器学习
2023-03-13 v2
摘要
对抗训练已被证明是防御对抗样本最有效的补救方法之一，但它常常在未见测试对抗样本上面临巨大的鲁棒泛化差距，这被视为对抗鲁棒泛化问题。尽管已有对对抗鲁棒泛化的初步理解，但从架构视角出发所知甚少。为弥补这一差距，本文首次系统地研究了对抗鲁棒泛化与架构设计之间的关系。具体而言，我们在ImageNette和CIFAR-10数据集上针对多种范数对抗攻击，全面评估了20种最具代表性的对抗训练架构。基于大量实验，我们发现，在对齐设置下，Vision Transformers（如PVT、CoAtNet）往往产生更好的对抗鲁棒泛化，而CNN倾向于过拟合于特定攻击并无法在多种对抗样本上泛化。为更好地理解其背后的本质，我们通过Rademacher复杂度的视角进行理论分析。我们揭示了更高的权重稀疏性显著促进了Transformers更好的对抗鲁棒泛化，而这往往可由专门设计的注意力块实现。我们希望本文有助于更好地理解设计鲁棒DNNs的机制。我们的模型权重可在 http://robust.art 获取。
引用
@article{arxiv.2209.14105,
title = {Exploring the Relationship between Architecture and Adversarially Robust Generalization},
author = {Aishan Liu and Shiyu Tang and Siyuan Liang and Ruihao Gong and Boxi Wu and Xianglong Liu and Dacheng Tao},
journal= {arXiv preprint arXiv:2209.14105},
year = {2023}
}