论深度学习中自然梯度的局部性
机器学习
2020-05-22 v1 机器学习
摘要
我们研究了用于深度贝叶斯网络（包括神经网络）学习的自然梯度方法。此类由可见单元与隐藏单元组成的学习系统关联有两种自然几何：一种与完整系统相关，另一种与可见子系统相关。这两种几何意味着不同的自然梯度。首先，我们证明了由于Fisher信息矩阵的局部性性质，相对于第一种几何的自然梯度得到了极大简化。这一简化并不能直接转化为相对于第二种几何的相应简化。我们发展了用于研究两个版本自然梯度之间关系的理论，并基于第一种几何概述了一种简化第二种几何下自然梯度的方法。该方法建议引入一个识别模型作为辅助模型，以在深度网络中高效应用自然梯度方法。
引用
@article{arxiv.2005.10791,
title = {On the Locality of the Natural Gradient for Deep Learning},
author = {Nihat Ay},
journal= {arXiv preprint arXiv:2005.10791},
year = {2020}
}