$\mu$P 下学习率迁移的证明

我们提供了在以 $\mu$P 参数化的线性多层感知机 (MLP) 中学习率随宽度迁移的首个证明，$\mu$P 是一种旨在无限宽度极限下“最大化”特征学习的神经网络参数化方法。我们表明，在 $\mu P$ 下，随着宽度趋于无穷大，最优学习率收敛到一个非零常数，为学习率迁移提供了理论解释。相比之下，我们表明该性质在标准参数化 (SP) 和神经切线参数化 (NTP) 等替代参数化下不成立。我们提供了直观的证明，并通过广泛的实证结果支持了理论发现。