初始化至关重要：全可训练层的两层 ReLU CNN 的良性 过拟合
机器学习
2024-10-28 v1 机器学习
摘要
良性过拟合指的是过参数化神经网络能够完美拟合训练数据并对未见数据进行良好泛化。虽然该现象在理论上得到了广泛研究，但现有工作仅限于具有固定输出层的两层网络，即仅训练隐藏权重。我们将分析扩展到具有全可训练层的两层 ReLU 卷积神经网络（CNN），这更接近实际应用。我们的结果表明，输出层的初始化缩放对训练动力学至关重要：大尺度会使模型训练行为类似于固定输出的情况，隐藏层快速增长而输出层基本不变；相比之下，小尺度会导致更复杂的层间相互作用，隐藏层最初增长到特定比例，然后两层共同增长并维持该比例。此外，在两种情况下，我们提供了测试误差的近似匹配上下界，确定了初始化缩放和信噪比（SNR）在实现良性过拟合或不可能实现之间的尖锐条件。数值实验支持了理论结果。
关键词
引用
@article{arxiv.2410.19139,
title = {Initialization Matters: On the Benign Overfitting of Two-Layer ReLU CNN with Fully Trainable Layers},
author = {Shuning Shang and Xuran Meng and Yuan Cao and Difan Zou},
journal= {arXiv preprint arXiv:2410.19139},
year = {2024}
}
备注
80 pages, 3 figures, 1 table