随机特征与神经正切 regime 下记忆性与鲁棒性之间的基本权衡

本研究考察了各类高维线性化 regime 下双层神经网络的（非）鲁棒性。我们建立了记忆性与鲁棒性之间的基本权衡，以模型关于数据分布的 Sobolev 半范数（即模型关于其输入的梯度的平均平方 $L_2$ 范数的平方根）度量。更确切地说，若 $n$ 为训练样本数，$d$ 为输入维度，$k$ 为双层神经网络隐藏神经元数，我们对一大类激活函数证明：若模型即使记忆了训练集的一小部分，则其 Sobolev 半范数下界为 (i) 在无限宽随机特征（RF）或神经正切核（NTK）且 $d \gtrsim n$ 时为 $\sqrt{n}$；(ii) 在 $d$ 与 $k$ 成比例缩放的有限宽 RF 时为 $\sqrt{n}$；(iii) 在 $d$ 与 $k$ 成比例缩放的有限宽 NTK 时为 $\sqrt{n/k}$。此外，所有这些下界都是紧的：它们由最小范数/最小二乘插值器达到（当 $n$、$d$ 与 $k$ 处于适当的插值 regime 时）。我们所有结果在数据为对数凹各向同性且存在标签噪声（即目标变量不是数据/特征的决定性函数）时即成立。我们通过实验对理论结果进行了经验验证。偶然地，这些实验也首次揭示了 (iv) 最小范数插值器鲁棒性中的多重下降现象。