梯度下降可鲁棒地学习卷积神经网络数据内在维度

现代神经网络通常高度过参数化。过参数化网络的广泛应用基于这样一种信念：如果数据简单，则训练后的网络将自动等效于简单预测器。遵循这一直觉，许多已有工作研究了神经网络不同“秩”的概念及其与数据秩的关系。在本工作中，我们研究了通过梯度下降训练的卷积神经网络 (CNN) 的秩，特别关注其对图像背景噪声的鲁棒性。具体而言，我们指出，当向图像添加背景噪声时，使用梯度下降训练的 CNN 的秩受到的影响远小于数据秩的受到的影响。我们通过一个理论案例研究支持我们的论点，其中我们考虑一种特定的数据模型来表征带添加背景噪声的低秩干净图像。我们证明了即使存在相当大的背景噪声，由梯度下降训练的 CNN 也能学习干净图像的内在维度。我们还在合成数据和真实数据集上进行实验，以进一步验证我们的论点。