Kronecker 因子分解特征基中的快速近似自然梯度下降
机器学习
2021-07-27 v2 机器学习
摘要
利用梯度协方差信息的优化算法，如自然梯度下降的变体（Amari, 1998），有望产生更有效的下降方向。对于具有许多参数的模型，它们所基于的协方差矩阵变得极其庞大，使其原始形式无法应用。这促使了对简单对角近似和更复杂的因子分解近似（如 KFAC，Heskes, 2000; Martens & Grosse, 2015; Grosse & Martens, 2016）的研究。在本工作中，我们从两者中汲取灵感，提出了一种可证明优于 KFAC 且易于进行低成本部分更新的新型近似方法。它包括跟踪对角方差，不是在参数坐标中，而是在 Kronecker 因子分解特征基中，在这种基中，对角近似可能更有效。实验表明，在几种深度网络架构中，优化速度优于 KFAC。
引用
@article{arxiv.1806.03884,
title = {Fast Approximate Natural Gradient Descent in a Kronecker-factored Eigenbasis},
author = {Thomas George and César Laurent and Xavier Bouthillier and Nicolas Ballas and Pascal Vincent},
journal= {arXiv preprint arXiv:1806.03884},
year = {2021}
}