为何 ReLU 网络的对抗训练是困难的？
机器学习
2022-05-31 v1 人工智能
计算机视觉与模式识别
摘要
本文从数学上推导了 ReLU 网络对抗扰动的分析解，并从理论上解释了对抗训练的困难。具体而言，我们给出了多步攻击生成的对抗扰动的动力学形式，表明对抗扰动倾向于增强损失函数关于输入的 Hessian 矩阵中少数排名靠前的特征值对应的特征向量。我们还证明，对抗训练倾向于以指数方式增强具有大梯度范数的不置信输入样本的影响。此外，我们发现对抗训练增强了损失函数关于网络参数的 Hessian 矩阵的影响，这使得对抗训练更可能沿少数样本的方向振荡，并加剧了对抗训练的困难。关键的是，我们的证明为先前理解对抗训练的发现提供了统一的解释。
引用
@article{arxiv.2205.15130,
title = {Why Adversarial Training of ReLU Networks Is Difficult?},
author = {Xu Cheng and Hao Zhang and Yue Xin and Wen Shen and Jie Ren and Quanshi Zhang},
journal= {arXiv preprint arXiv:2205.15130},
year = {2022}
}