基于新近似的特征值校正自然梯度
机器学习
2020-11-30 v1 最优化与控制
摘要
使用二阶优化方法训练深度神经网络（DNNs）吸引了众多研究者。最近提出的一种方法，特征值校正Kronecker分解（EKFAC）（George等人，2018），提出了将自然梯度更新视为对角方法的解释，并校正了Kronecker分解特征基中不准确的重缩放因子。Gao等人（2020）考虑了对自然梯度的一种新近似，其将Fisher信息矩阵（FIM）近似为一个常数乘以两个矩阵的Kronecker积，并保持近似前后迹相等。在本工作中，我们结合这两种方法的思路，提出了迹受限特征值校正Kronecker分解（TEKFAC）。所提方法不仅校正了Kronecker分解特征基下的不精确重缩放因子，还考虑了Gao等人（2020）提出的新近似方法和有效阻尼技术。我们还讨论了Kronecker分解近似之间的差异与关系。实证上，我们的方法在多个DNN上优于带动量的SGD、Adam、EKFAC和TKFAC。
引用
@article{arxiv.2011.13609,
title = {Eigenvalue-corrected Natural Gradient Based on a New Approximation},
author = {Kai-Xin Gao and Xiao-Lei Liu and Zheng-Hai Huang and Min Wang and Shuangling Wang and Zidong Wang and Dachuan Xu and Fan Yu},
journal= {arXiv preprint arXiv:2011.13609},
year = {2020}
}