关于具有低秩层神经网络的泛化界
机器学习
2024-11-22 v1 机器学习
摘要
尽管先前的优化结果表明深度神经网络倾向于低秩权重矩阵，但这种归纳偏置对泛化界的影响仍有待深入探索。在本文中，我们应用 Maurer 的高斯复杂度链式法则，分析深度网络中的低秩层如何防止秩因子与维度因子的累积，这些因子通常在各层间相乘。该方法产生了秩与谱范数受约束网络的泛化界。我们将我们的结果与先前深度网络的泛化界进行比较，强调了具有低秩层的深度网络如何能比全秩层网络实现更好的泛化。此外，我们讨论了该框架如何为表现出神经坍缩的深度网络的泛化能力提供新视角。
引用
@article{arxiv.2411.13733,
title = {On Generalization Bounds for Neural Networks with Low Rank Layers},
author = {Andrea Pinto and Akshay Rangamani and Tomaso Poggio},
journal= {arXiv preprint arXiv:2411.13733},
year = {2024}
}
备注
Published in the MIT DSpace repository: https://dspace.mit.edu/handle/1721.1/157263