中等输入维度下 Leaky ReLU 网络中的良性过拟合

良性过拟合问题探讨的是模型是否可能在完美拟合噪声训练数据的同时仍具有良好的泛化能力。我们研究了在二元分类任务上使用合页损失训练的两层 Leaky ReLU 网络中的良性过拟合现象。我们考虑的输入数据可以分解为公共信号分量和随机噪声分量之和，且它们位于相互正交的子空间上。我们刻画了导致良性过拟合与非良性（或有害）过拟合的模型参数信噪比 (SNR) 条件：具体而言，如果 SNR 较高，则发生良性过拟合；反之，如果 SNR 较低，则发生有害过拟合。我们将良性过拟合和非良性过拟合归因于近似间隔最大化性质，并证明了使用梯度下降 (GD) 在合页损失上训练的 Leaky ReLU 网络满足这一性质。与先前工作不同，我们不要求训练数据近乎正交。值得注意的是，对于输入维度 $d$ 和训练样本量 $n$，虽然先前的工作要求 $d = \Omega(n^2 \log n)$，而此处我们仅要求 $d = \Omega\left(n\right)$。