可扩展自然梯度的无坐标构造
机器学习
2018-08-31 v1 微分几何
最优化与控制
机器学习
摘要
大多数神经网络使用一阶优化方法进行训练，这类方法对模型的参数化方式敏感。自然梯度下降由于以无坐标方式定义，对光滑重参数化具有不变性，但可处理的近似通常依据坐标系定义，因此可能丧失不变性性质。我们通过以无坐标方式构造 Kronecker 分解近似曲率（K-FAC）算法，分析其不变性性质。我们显式构造了一个黎曼度量，在该度量下自然梯度与 K-FAC 更新相匹配；对激活函数仿射变换的不变性随之立即成立。我们将框架推广以分析应用于卷积网络和循环神经网络的 K-FAC 的不变性性质，以及除通常 Fisher 度量外的其他度量。
引用
@article{arxiv.1808.10340,
title = {A Coordinate-Free Construction of Scalable Natural Gradient},
author = {Kevin Luk and Roger Grosse},
journal= {arXiv preprint arXiv:1808.10340},
year = {2018}
}