基于解过参数化矩阵分解梯度流闭式解的增量学习理解

许多关于神经网络的理论研究将其优异经验性能归因于在特定初始化假设下，一阶优化算法所诱导的隐式偏置或正则化。一个例子是梯度流（GF）在小初始化下的过参数化矩阵分解问题中的增量学习现象：GF 通过依次学习目标矩阵奇异值的大小排序来学习目标矩阵。本文使用我们通过求解类似 Riccati 矩阵微分方程获得的闭式解，对该增量学习行为在对称矩阵分解问题上的 GF 进行量化理解。我们证明，增量学习源于学习目标矩阵不同组成部分之间动力学的时间尺度分离。通过减小初始化规模，这些时间尺度分离变得更为突出，从而可找到目标矩阵的低秩近似。最后，我们讨论将此分析推广到非对称矩阵分解问题的可能途径。