深层线性网络在浅层网络过拟合时也能良性过拟合
机器学习
2023-02-08 v2 人工智能
统计理论
机器学习
统计理论
摘要
我们给出了使用梯度流训练的插值深层线性网络的超额风险界。在一个先前用于建立最小 范数插值器风险界的设定下，我们表明随机初始化的深层线性网络可以紧密逼近甚至匹配已知的最小 范数插值器界。我们的分析还揭示，插值深层线性模型具有与最小 范数解完全相同的条件方差。由于噪声仅通过条件方差影响超额风险，这意味着深度并不会提升算法“隐藏噪声”的能力。我们的仿真验证了界的某些方面反映了简单数据分布下的典型行为。我们还发现，在 ReLU 网络的仿真中观察到类似现象，尽管那里的情况更为微妙。
引用
@article{arxiv.2209.09315,
title = {Deep Linear Networks can Benignly Overfit when Shallow Ones Do},
author = {Niladri S. Chatterji and Philip M. Long},
journal= {arXiv preprint arXiv:2209.09315},
year = {2023}
}