通过对抗训练中的偏差-方差分解理解泛化

对抗训练的模型表现出很大的泛化差距：即使对于较大的扰动半径，它们也能拟合训练集，但代价是在干净样本上产生较大的测试误差。为研究这一差距，我们将测试风险分解为其偏差与方差分量，并研究它们随对抗训练扰动半径（$\varepsilon$）变化的行为。我们发现偏差随 $\varepsilon$ 单调递增，且是风险中的主导项。同时，方差作为 $\varepsilon$ 的函数呈单峰形，在训练集的插值阈值附近达到峰值。这一特征行为在不同数据集以及其他鲁棒训练过程（如随机平滑）中均稳健出现。因此它为所提出的泛化差距解释提供了检验。我们发现一些现有解释未能通过检验——例如，预测出单调递增的方差曲线。这凸显了在现代设定下偏差-方差分解的威力——通过提供两个度量而非一个，它们能比仅用测试准确率排除更多解释。我们还表明偏差与方差可为可扩展地缩小泛化差距提供有用指导，突出预训练与无标签数据作为有前景的途径。