过参数化神经网络中对抗训练的收敛性
机器学习
2019-11-12 v2 机器学习
摘要
神经网络易受对抗样本攻击，即那些从自然数据出发仅作难以察觉的扰动、却仍被网络错误分类的输入。对抗训练作为一种启发式的鲁棒优化形式，在最小化与最大化步骤之间交替，已被证明是训练网络以抵御预定义扰动族最成功的方法之一。本文部分解释了对抗训练的成功：我们证明其收敛到一个网络，其中相对于攻击算法的替代损失与最优鲁棒损失之差在 以内。进而我们证明最优鲁棒损失也接近于零，因此对抗训练找到了一个鲁棒分类器。该分析技术利用了近期基于神经切线核（NTK）的神经网络分析工作，并结合了当最大化由启发式求解时来自在线学习的动机，以及 NTK 核在 范数下的表达能力。此外，我们还证明了鲁棒插值需要更大的模型容量，这支持了对抗训练需要更宽网络的证据。
引用
@article{arxiv.1906.07916,
title = {Convergence of Adversarial Training in Overparametrized Neural Networks},
author = {Ruiqi Gao and Tianle Cai and Haochuan Li and Liwei Wang and Cho-Jui Hsieh and Jason D. Lee},
journal= {arXiv preprint arXiv:1906.07916},
year = {2019}
}
备注
NeurIPS 2019