对抗训练中过参数化的诅咒：随机特征回归鲁棒泛化的精确分析

成功的深度学习模型通常涉及训练参数量多于训练样本数的神经网络架构。近年来，此类过参数化模型已被广泛研究，且过参数化的优势已从统计视角（通过双下降现象）和计算视角（通过优化景观的结构性质）得到确立。尽管深度学习架构在过参数化机制下取得了显著成功，但同样众所周知的是，这些模型对其输入中的微小对抗扰动极其脆弱。即使经过对抗训练，它们在扰动输入上的性能（鲁棒泛化）也显著差于在良性输入上可达到的最佳性能（标准泛化）。因此，理解过参数化如何从根本上影响鲁棒性至关重要。本文通过聚焦随机特征回归模型（第一层权重随机的两层神经网络），精确刻画了过参数化对鲁棒性的作用。我们考虑样本量、输入维度和参数量成比例增长的机制，并推导了模型在对抗训练下鲁棒泛化误差的渐近精确公式。我们发展的理论揭示了过参数化对鲁棒性的非平凡影响，并表明对于对抗训练的随机特征模型，高度过参数化会损害鲁棒泛化。