基于浅层单变量 ReLU 网络的含噪插值学习
机器学习
2024-03-25 v3
摘要
理解过度参数化神经网络如何在完美插值含噪训练数据的同时仍具备泛化能力，是一个基本问题。Mallinar 等人（2022）指出，神经网络似乎经常表现出“温和过拟合”，即总体风险既不收敛到贝叶斯最优误差，也不趋于无穷，从而产生非平凡的泛化。然而，这一点尚未被严格研究。我们针对最小范数（权重的 ）回归的过拟合行为提供了首个严格分析，重点关注单变量两层 ReLU 网络。我们表明，当以 损失度量时，过拟合是温和的（以高概率），但同时也表明情况比 Mallinar 等人所暗示的更为复杂：以 损失度量时，或在训练集上取期望时，过拟合是灾难性的。
引用
@article{arxiv.2307.15396,
title = {Noisy Interpolation Learning with Shallow Univariate ReLU Networks},
author = {Nirmit Joshi and Gal Vardi and Nathan Srebro},
journal= {arXiv preprint arXiv:2307.15396},
year = {2024}
}
备注
To appear at ICLR 2024. Updated version with minor changes in the presentation