ReLU 网络在 XOR 簇数据上的良性过拟合与顿悟现象
机器学习
2023-10-05 v1 机器学习
摘要
由梯度下降(GD)训练的神经网络展现出若干令人惊讶的泛化行为。首先,它们能对带噪训练数据实现完美拟合,同时仍近乎最优地泛化,表明过拟合有时可以是良性的。其次,它们会经历一段经典的有害过拟合期——对训练数据完美拟合而在测试数据上表现近随机——之后在训练后期转变("grokking",顿悟)为近乎最优的泛化。本文中,我们证明这两种现象在 GD 训练的双层 ReLU 网络处理 XOR 簇数据时均可证明地发生,其中恒定比例的训练标签被翻转。在该设定下,我们表明 GD 第一步后网络达到 100% 训练准确率,完美拟合训练数据中的噪声标签,但测试准确率近随机。在较晚的训练步,网络在仍拟合训练数据中随机标签的同时达到近最优测试准确率,展现出"grokking"现象。这给出了在数据分布不可线性分时神经网络分类中良性过拟合的首个理论结果。我们的证明依赖于分析 GD 下的特征学习过程,其揭示网络在一步后实现不可泛化的线性分类器,并在后续步骤中逐渐学习可泛化特征。
引用
@article{arxiv.2310.02541,
title = {Benign Overfitting and Grokking in ReLU Networks for XOR Cluster Data},
author = {Zhiwei Xu and Yutong Wang and Spencer Frei and Gal Vardi and Wei Hu},
journal= {arXiv preprint arXiv:2310.02541},
year = {2023}
}