高维 ℓ2 对抗训练的同质化：随机梯度下降下的精确动力学

我们开发了一个框架，用于分析在流式随机梯度下降（SGD）下，高维极限中高斯混合模型上单指标模型的 ℓ2 对抗训练的学习动力学。我们为一类广泛的 SGD 迭代统计量推导了确定性等价形式，包括对抗风险和到对抗最优性的距离，用常微分方程组的解来表示。我们用它们来研究两种理想化的学习率调度：Polyak 步长和精确线搜索。在单类 ℓ2 对抗最小二乘的情况下，我们表明，与无噪声的标准最小二乘不同，没有恒定的学习率能保证 SGD 向对抗风险最小化器的单调下降。我们确定各向异性协方差和岭参数的不匹配是精确线搜索相对于 Polyak 步长次优的主要来源。我们还引入了一个随机微分方程（SDE），称为对抗同质化 SGD，它捕捉了 SGD 迭代统计量的演化。对于 ℓ2 对抗最小二乘，使用这个 SDE，我们表明风险的演化等价于（直到与维度无关的常数）具有自适应学习率和自适应 ℓ2 正则化的标准最小二乘 SGD。当动力学收敛时，极限对抗风险和 SGD 迭代由不动点方程决定，极限迭代等价于岭回归问题的解，其正则化参数是 SGD 的极限有效正则化。