快速致富：精确解揭示非平衡初始化如何促进快速特征学习

虽然现代神经网络的卓越性能通常归因于它们从数据中高效提取任务相关特征的能力，但这种丰富特征学习机制背后的原理仍然难以捉摸，我们的大部分理论理解都源于相反的惰性学习机制。在这项工作中，我们推导出一个在惰性学习和丰富学习之间转换的最小模型的精确解，精确阐明了非平衡的逐层初始化方差和学习率如何决定特征学习的程度。我们的分析揭示，它们通过一组守恒量共同影响学习机制，这些守恒量约束并改变了参数和函数空间中学习轨迹的几何形状。我们将分析扩展到具有多个神经元、输出和层的更复杂线性模型，以及具有分段线性激活函数的浅层非线性网络。在线性网络中，快速特征学习仅发生在平衡初始化时，即所有层以相似速度学习。而在非线性网络中，促进早期层更快学习的非平衡初始化可以加速丰富学习。通过一系列实验，我们提供了证据表明，这种非平衡丰富机制驱动了深度有限宽度网络中的特征学习，促进了CNN早期层的可解释性，降低了学习分层数据的样本复杂度，并减少了模算术中“顿悟”的时间。我们的理论激励进一步探索非平衡初始化以增强高效特征学习。