迈向对神经网络中良性过拟合的理解
机器学习
2021-06-08 v1 机器学习
摘要
现代机器学习模型常采用海量参数，并被优化至零训练损失；然而令人惊讶的是，它们具备近乎最优的预测性能，这与经典学习理论相矛盾。我们考察在样本协变量被噪声污染的两层神经网络设定中，这些良性过拟合现象如何发生。我们关注高维机制，其中数据维度 随数据点数量 增长。我们的分析将偏差的上界与插值器（一种对数据插值的估计量）方差的匹配上下界相结合。这些结果表明，在温和条件下插值器的额外学习风险衰减。我们进一步证明，两层 ReLU 网络插值器有可能达到近极小极大最优的学习率，据我们所知这是此类网络的首个泛化结果。最后，我们的理论预测一旦参数数量 增长超过 ，额外学习风险便开始上升，这与近期实证发现相符。
引用
@article{arxiv.2106.03212,
title = {Towards an Understanding of Benign Overfitting in Neural Networks},
author = {Zhu Li and Zhi-Hua Zhou and Arthur Gretton},
journal= {arXiv preprint arXiv:2106.03212},
year = {2021}
}