黎曼流形上的加速随机拟牛顿优化
最优化与控制
2017-05-23 v3 机器学习
微分几何
机器学习
摘要
我们提出了一种黎曼流形上的L-BFGS优化算法，该算法使用小批量随机方差缩减技术，以恒定步长实现快速收敛，而无需借助为满足Wolfe条件而设计的线搜索方法。我们给出了强凸函数的新收敛证明，无需使用流形上的曲率条件，并对非凸函数进行了收敛讨论。我们讨论了几种获取校正对的方法，这些校正对用于计算梯度与逆Hessian的乘积，并通过合成实验经验性地展示了它们在计算对称正定矩阵的Karcher均值以及大规模数据矩阵的主导特征值中的应用。我们将我们的方法与VR-PCA（用于后一实验）以及Riemannian SVRG（用于两种情况）进行比较，并展示了一系列数据集上的强收敛结果。
引用
@article{arxiv.1704.01700,
title = {Accelerated Stochastic Quasi-Newton Optimization on Riemann Manifolds},
author = {Anirban Roychowdhury},
journal= {arXiv preprint arXiv:1704.01700},
year = {2017}
}