TENGraD：具有精确Fisher块求逆的时间高效自然梯度下降
机器学习
2022-03-04 v4
摘要
本文提出一种称为TENGraD的时间高效自然梯度下降方法，具备线性收敛保证。在自然梯度下降（NGD）中，计算神经网络Fisher信息矩阵的逆代价高昂，因为Fisher矩阵规模庞大。KFAC等近似NGD方法试图通过近似降低Fisher矩阵求逆成本来改善NGD的运行时间与实用性能。然而，这些近似并未显著减少总体时间，并导致参数更新精度下降及曲率信息丢失。TENGraD通过一种计算高效的协方差分解与重用方法计算Fisher块逆，从而提高了NGD的时间效率。它利用Woodbury矩阵恒等式精确求每个块的逆，以保留曲率信息，同时实现（线性）快速收敛速率。我们在CIFAR-10、CIFAR-100和Fashion-MNIST上针对最先进深度神经架构的图像分类实验表明，TENGraD在挂钟时间上显著优于最先进NGD方法，且常优于随机梯度下降。
引用
@article{arxiv.2106.03947,
title = {TENGraD: Time-Efficient Natural Gradient Descent with Exact Fisher-Block Inversion},
author = {Saeed Soori and Bugra Can and Baourun Mu and Mert Gürbüzbalaban and Maryam Mehri Dehnavi},
journal= {arXiv preprint arXiv:2106.03947},
year = {2022}
}