向更好泛化靠拢：权重衰减为神经网络诱导低秩偏置
机器学习
2024-10-04 v1 机器学习
摘要
我们研究在带权重衰减 (Weight Decay, WD) 训练神经网络 (NN) 时，隐式偏向于低秩权重矩阵的现象。我们证明，当 ReLU NN 经过充分训练并使用随机梯度下降 (SGD) 结合 WD 时，其权重矩阵约为秩为二的矩阵。经验上，我们展示了 WD 是在回归和分类任务中诱导这种低秩偏置的必要条件。我们的工作不同于以往研究，因为我们的理论分析不依赖于关于训练数据分布、权重矩阵最优性或特定训练程序的常见假设。此外，凭借低秩偏置，我们导出改进的泛化误差界，并提供数值证据表明可实现更好的泛化。因此，我们的工作提供了关于 SGD 与 WD 结合时强大泛化性能的理论和实证见解。
引用
@article{arxiv.2410.02176,
title = {Towards Better Generalization: Weight Decay Induces Low-rank Bias for Neural Networks},
author = {Ke Chen and Chugang Yi and Haizhao Yang},
journal= {arXiv preprint arXiv:2410.02176},
year = {2024}
}