黎曼流形上的随机梯度下降
最优化与控制
2016-11-17 v4 机器学习
机器学习
摘要
随机梯度下降是一种寻找评估受噪声破坏的代价函数局部最小值的简单方法。在本文中，我们开发了一种将随机梯度下降算法推广到函数定义在黎曼流形上的情形的过程。我们证明，与欧几里得情形一样，梯度下降算法收敛到代价函数的临界点。该算法具有众多潜在应用，本文通过四个例子加以说明。特别地，推导了一种新的协方差矩阵集合上的 gossip 算法，并进行了数值测试。
引用
@article{arxiv.1111.5280,
title = {Stochastic gradient descent on Riemannian manifolds},
author = {Silvere Bonnabel},
journal= {arXiv preprint arXiv:1111.5280},
year = {2016}
}
备注
A slightly shorter version has been published in IEEE Transactions Automatic Control