过参数化对抗训练：一种克服维度灾难的分析
机器学习
2020-02-25 v2 机器学习
摘要
对抗训练是一种使神经网络对对抗扰动具有鲁棒性的流行方法。在实践中，对抗训练能带来较低的鲁棒训练损失。然而，对于为何在自然条件下会发生这种情况，仍缺乏严格的解释。最近，多个研究组针对非常过参数化的网络，提出了标准（非对抗）监督训练的收敛理论。由于极小极大目标的存在，尚不清楚如何将这些结果推广到对抗训练。最近，Gao 等人利用在线学习工具朝该方向迈出了第一步，但他们要求网络宽度在输入维度 上是指数级的，且使用非自然的激活函数。我们的工作在自然假设下并使用 ReLU 激活函数，证明了网络宽度为多项式级而非指数级时即可收敛到较低的鲁棒训练损失。我们证明的关键要素是表明初始化附近的 ReLU 网络可以逼近阶跃函数，这可能具有独立意义。
引用
@article{arxiv.2002.06668,
title = {Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality},
author = {Yi Zhang and Orestis Plevrakis and Simon S. Du and Xingguo Li and Zhao Song and Sanjeev Arora},
journal= {arXiv preprint arXiv:2002.06668},
year = {2020}
}