一种改进的自然梯度下降经验Fisher近似方法

近似自然梯度下降方法是深度学习模型优化器的一个重要家族，它们使用近似的Fisher信息矩阵在训练期间预处理梯度。经验Fisher方法通过重用反向传播期间收集的每个样本梯度来经验地近似Fisher信息矩阵。尽管实现简单，但经验Fisher近似有其理论和实践上的局限性。本文研究了经验Fisher的逆尺度投影问题，该问题被证明是其经验近似质量差的主要原因。提出了一种改进的经验Fisher方法来解决这个问题，该方法从损失减少的角度被激发为一种广义的自然梯度下降方法，同时保留了经验Fisher的实际便利性。使用实际的深度学习设置对精确的iEF和EF方法进行了实验评估。优化实验表明，直接将精确的iEF用作优化器提供了强大的收敛性和泛化能力。此外，在一个新颖的经验评估框架下，所提出的iEF方法在近似精确自然梯度更新方面始终表现出比经验Fisher和更昂贵的采样Fisher方法更好的近似质量，同时展示了跨任务和训练阶段对阻尼选择具有鲁棒性的优越特性。预期用iEF改进现有的近似自然梯度下降优化器将带来更好的收敛性和鲁棒性。此外，iEF方法本身也是对Fisher信息矩阵的一种更好的近似方法，这使得能够改进各种基于Fisher的方法，而不仅限于优化领域。