神经网络中简单性偏差的陷阱

多项工作提出了简单性偏差（Simplicity Bias, SB）——即标准训练过程（如随机梯度下降 SGD）倾向于寻找简单模型——以证明神经网络为何泛化良好 [Arpit 等人 2017, Nakkiran 等人 2019, Soudry 等人 2018]。然而，简单性的精确定义仍然模糊。此外，先前使用 SB 从理论上证明神经网络为何泛化良好的设置，并未同时捕捉到神经网络的非鲁棒性——一种在实践中广泛观察到的现象 [Goodfellow 等人 2014, Jo 和 Bengio 2017]。我们试图通过设计数据集来调和 SB 及神经网络优越的标准泛化能力与实践观察到的非鲁棒性，这些数据集 (a) 包含一个精确的简单性概念，(b) 包含多个具有不同简单性水平的预测特征，以及 (c) 捕捉在真实数据上训练的神经网络的非鲁棒性。通过对这些数据集的理论和实证研究，我们得出四个观察结果：(i) SGD 及其变体的 SB 可能是极端的：神经网络可能完全依赖最简单的特征，而对所有复杂的预测特征保持不变。(ii) SB 的极端方面可以解释为何看似良性的分布偏移和小的对抗扰动会显著降低模型性能。(iii) 与传统观点相反，SB 也可能损害同一数据分布上的泛化能力，因为即使最简单的特征比更复杂的特征预测能力更弱，SB 依然存在。(iv) 改善泛化能力和鲁棒性的常用方法——集成和对抗训练——可能无法减轻 SB 及其陷阱。鉴于 SB 在训练神经网络中的作用，我们希望所提出的数据集和方法能作为一个有效的测试平台，用于评估旨在避免 SB 陷阱的新颖算法方法。