冗余表示有助于宽神经网络的泛化
机器学习
2023-05-02 v4 计算机视觉与模式识别
机器学习
摘要
深度神经网络（DNNs）违背了经典的偏差-方差权衡：向一个插值其训练数据的 DNN 添加参数通常会改善其泛化性能。解释这种深度网络中“良性过拟合”背后的机制仍是一项杰出挑战。在此，我们研究了各种最先进卷积神经网络的最后隐藏层表示，发现如果最后隐藏表示足够宽，其神经元往往分裂为携带相同信息的组，且彼此之间仅因统计独立的噪声而不同。此类组的数量随层宽度线性增加，但仅当宽度高于临界值时。我们表明冗余神经元仅在训练过程达到插值且训练误差为零时出现。
引用
@article{arxiv.2106.03485,
title = {Redundant representations help generalization in wide neural networks},
author = {Diego Doimo and Aldo Glielmo and Sebastian Goldt and Alessandro Laio},
journal= {arXiv preprint arXiv:2106.03485},
year = {2023}
}