神经网络中偏差-方差权衡的现代审视
机器学习
2023-05-30 v4 机器学习
摘要
偏差-方差权衡告诉我们，随着模型复杂度增加，偏差下降而方差上升，导致U形测试误差曲线。然而，近期过参数化神经网络的实证结果显著缺乏经典的U形测试误差曲线：测试误差在更宽的网络中持续下降。这表明，与Geman等人 (1992) 最初声称的不同，神经网络中关于网络宽度可能并不存在偏差-方差权衡。受用于支持该声称的薄弱证据驱动，我们在现代设定下度量偏差与方差。我们发现偏差和方差均可随参数数量增长而下降。为更好理解这一点，我们引入一种新的方差分解以解耦优化与数据采样的影响。我们还在一个简化设定下提供了与实证发现一致的理论分析。
引用
@article{arxiv.1810.08591,
title = {A Modern Take on the Bias-Variance Tradeoff in Neural Networks},
author = {Brady Neal and Sarthak Mittal and Aristide Baratin and Vinayak Tantia and Matthew Scicluna and Simon Lacoste-Julien and Ioannis Mitliagkas},
journal= {arXiv preprint arXiv:1810.08591},
year = {2023}
}