一种迹受限的克罗内克因子化自然梯度近似
机器学习
2020-11-24 v1 最优化与控制
机器学习
摘要
二阶优化方法能够通过曲率矩阵修正梯度来加速收敛。已有许多尝试将二阶优化方法用于训练深度神经网络。受对角近似与因子化近似（如克罗内克因子化近似曲率（KFAC））的启发，我们在本工作中提出一种称为迹受限克罗内克因子化近似曲率（TKFAC）的费雪信息矩阵（FIM）新近似，其能够保持精确 FIM 与近似 FIM 之间特定的迹关系。在 TKFAC 中，我们将近似 FIM 的每个块分解为两个较小矩阵的克罗内克积，并由与迹相关的系数缩放。我们从理论上分析了 TKFAC 的近似误差并给出了其一个上界。我们还提出了一种针对卷积神经网络上 TKFAC 的新阻尼技术，以在训练期间保持二阶优化方法的优越性。实验表明，在一些深度网络架构上，我们的方法相比若干最先进算法具有更好的性能。
引用
@article{arxiv.2011.10741,
title = {A Trace-restricted Kronecker-Factored Approximation to Natural Gradient},
author = {Kai-Xin Gao and Xiao-Lei Liu and Zheng-Hai Huang and Min Wang and Zidong Wang and Dachuan Xu and Fan Yu},
journal= {arXiv preprint arXiv:2011.10741},
year = {2020}
}