双层卷积神经网络中的良性过拟合

现代神经网络通常具有强大的表达能力，可被训练以过拟合训练数据，同时仍取得良好的测试性能。这一现象被称为“良性过拟合”。近来出现了一系列从理论视角研究“良性过拟合”的工作。然而，它们局限于线性模型或核/随机特征模型，对于神经网络中何时及如何发生良性过拟合仍缺乏理论理解。本文研究训练双层卷积神经网络（CNN）中的良性过拟合现象。我们表明，当信噪比满足某一条件时，通过梯度下降训练的双层 CNN 可以取得任意小的训练与测试损失。另一方面，当该条件不成立时，过拟合变得有害，所得 CNN 只能达到常数水平的测试损失。这些共同展示了由信噪比驱动的良性过拟合与有害过拟合之间的尖锐相变。据我们所知，这是首个精确刻画训练卷积神经网络中良性过拟合可发生条件的工作。