基于梯度下降的对抗训练在可分数据上的归纳偏置

对抗训练是一种训练鲁棒神经网络的原则性方法。尽管在实践中取得了巨大成功，其理论性质仍很大程度上未被探索。在本文中，我们通过研究基于梯度下降的对抗训练的计算性质（具体而言是其归纳偏置）来提供新的理论见解。我们以线性可分数据上的二分类任务作为示例，其中当参数沿某些方向发散至无穷时损失渐近地达到其下确界。具体地，我们表明当训练中的对抗扰动具有有界 $\ell_2$-范数时，由基于梯度下降的对抗训练学到的分类器在方向上以 $\tilde{\mathcal{O}}(1/\sqrt{T})$ 的速率收敛到最大 $\ell_2$-范数间隔分类器，显著快于使用干净数据训练时的 $\mathcal{O}(1/\log T)$ 速率。此外，当训练中的对抗扰动对某些 $q\ge 1$ 具有有界 $\ell_q$-范数时，所得分类器在方向上收敛到最大混合范数间隔分类器，其具有鲁棒性的自然解释，即作为在数据的最坏情况 $\ell_q$-范数扰动下的最大 $\ell_2$-范数间隔分类器。我们的发现为对抗训练确实提升对抗扰动鲁棒性提供了理论支撑。