过度对齐与过拟合：特征学习强度在泛化中的作用

特征学习强度 (FLS)，即模型有效输出缩放的倒数，在塑造神经网络优化动力学中发挥关键作用。虽然其影响在渐近 regime 下——包括训练时间和FLS——得到了广泛研究，但现有理论在实用设置下（如训练停止于达到目标训练风险时）对FLS对泛化的影响提供了有限的见解。本文我们在此实用条件下研究FLS对深度网络泛化的影响。通过实证研究，我们首先发现一种 $\textit{最佳FLS}$ 的出现——既不太小也不太大——可显著提升泛化性能。这一发现与普遍直觉相悖，即更强的特征学习总是改善泛化。为解释此现象，我们发展了对使用 logistic loss训练的两层ReLU网络中梯度流动力学的理论分析，其中FLS通过初始化尺度控制。我们的主要理论结果确立了最佳FLS的存在，源于两种相互竞争效应之间的权衡：过大的FLS诱导 $\textit{过度对齐}$ 现象而损害泛化，而过小的FLS导致 $\textit{过拟合}$。