一种用于深度学习的新型结构化自然梯度下降
机器学习
2021-09-22 v1 人工智能
摘要
自然梯度下降（NGD）为深度神经网络提供了深刻的见解和强大的工具。然而，随着网络结构变得越来越大和复杂，Fisher 信息矩阵的计算变得越来越困难。本文提出一种新的优化方法，其主要思想是通过重构网络来精确地替代自然梯度优化。更具体地，我们重构深度神经网络的结构，并使用传统梯度下降（GD）优化新网络。重构后的网络达到了自然梯度下降优化方式的效果。实验结果表明，我们的优化方法能够加速深度网络模型的收敛，并在享有 GD 计算简单性的同时取得比 GD 更好的性能。
引用
@article{arxiv.2109.10100,
title = {A Novel Structured Natural Gradient Descent for Deep Learning},
author = {Weihua Liu and Xiabi Liu},
journal= {arXiv preprint arXiv:2109.10100},
year = {2021}
}