用于深度学习的双层 K-FAC 预条件化
机器学习
2020-12-08 v3
摘要
在深度学习背景下，许多优化方法利用梯度协方差信息以加速随机梯度下降的收敛。特别是，从 Adagrad 开始，看似无穷无尽的研究倡导在基于随机梯度的算法中使用所谓经验 Fisher 矩阵的对角近似，其中最为突出的大概是 Adam。然而，近年来若干工作对使用经验 Fisher 矩阵进行预条件化的理论基础提出质疑，并且已表明实际 Fisher 矩阵的更复杂近似更接近于理论上动机良好的自然梯度下降。此类方法中一个特别成功的变体是所谓的 K-FAC 优化器，其使用 Kronecker 因子化块对角 Fisher 近似作为预条件子。在本文中，受科学计算领域用作预条件子的双层区域分解方法启发，我们通过以计算高效的方式用离对角（即全局）曲率信息丰富 K-FAC 来扩展它。我们通过对预条件子添加粗空间修正项来实现这一点，该项在较粗尺度上捕获全局 Fisher 信息矩阵。我们给出了一小组实验结果表明所提方法具有改进的收敛行为。
引用
@article{arxiv.2011.00573,
title = {Two-Level K-FAC Preconditioning for Deep Learning},
author = {Nikolaos Tselepidis and Jonas Kohler and Antonio Orvieto},
journal= {arXiv preprint arXiv:2011.00573},
year = {2020}
}