对抗训练线性回归的正则化性质

最先进的机器学习模型可能对对抗性构造的极小输入扰动十分脆弱。对抗训练是一种有效的防御方法。其被表述为极小极大问题，在训练数据被最坏情况攻击破坏时搜索最佳解。线性模型是能够观察到脆弱性的简单模型之一，也是我们的研究重点。在此情形下，对抗训练导致一个可表述为有限和最小化的凸优化问题。我们提供了线性归回中对抗训练解与其他正则化方法的比较分析。我们的主要发现是：（A）只要最大扰动半径小于某阈值，对抗训练在过参数化区域（参数多于数据）产生最小范数插值解；反之，最小范数插值器是给定半径下对抗训练的解。（B）对抗训练可等价于参数收缩方法（岭回归与 Lasso）。这发生在欠参数化区域，且需适当选择对抗半径与零均值对称分布协变量。（C）对于 $\ell_\infty$-对抗训练——如同平方根 Lasso——用于最优界选择的对抗半径不依赖于加性噪声方差。我们通过数值例子证实了理论发现。