使用流形理论的自然梯度与基于 Taylor 优化的统一框架
机器学习
2018-10-04 v3 机器学习
摘要
本技术报告构建了一个理论框架，以将基于 Taylor 近似的标准优化方法与自然梯度这一在概率模型中具有 Fisher 效率的方法相关联。我们将证明，该框架还为将高阶方法与 NG 方法相结合提供了数学上的理论依据。
引用
@article{arxiv.1803.09791,
title = {A Common Framework for Natural Gradient and Taylor based Optimisation using Manifold Theory},
author = {Adnan Haider},
journal= {arXiv preprint arXiv:1803.09791},
year = {2018}
}