XOR 数据上两层 ReLU 卷积神经网络的良性过拟合
机器学习
2023-10-04 v1
摘要
现代深度学习模型通常高度过参数化，从而能够过拟合训练数据。令人惊讶的是，此类过拟合的神经网络通常仍能取得较高的预测精度。为研究这种“良性过拟合”现象，近期一系列工作从理论层面研究了线性模型与两层神经网络的学习问题。然而，这些分析大多仍局限于贝叶斯最优分类器为线性的非常简单学习问题。本文中，我们研究一类带有标签翻转噪声的 XOR 型分类任务。我们证明，在样本复杂度和信噪比满足一定条件的情形下，通过梯度下降训练得到的过参数化 ReLU CNN 可以取得接近贝叶斯最优的精度。此外，我们还建立了相应的下界结果，表明当前述条件不满足时，所得 CNN 的预测精度与贝叶斯最优率之间存在一个绝对常数差距。我们的结果表明，即便在特征高度相关的情形下，CNN 仍具有高效学习 XOR 问题的显著能力。
引用
@article{arxiv.2310.01975,
title = {Benign Overfitting in Two-Layer ReLU Convolutional Neural Networks for XOR Data},
author = {Xuran Meng and Difan Zou and Yuan Cao},
journal= {arXiv preprint arXiv:2310.01975},
year = {2023}
}
备注
74 pages, 3 figures