黎曼流形上无投影的非凸随机优化
最优化与控制
2021-04-06 v3 机器学习
摘要
我们研究黎曼流形上光滑函数约束优化的随机无投影方法，即除参数域为流形外还有额外约束。具体地，我们针对非凸与测地凸问题引入随机黎曼 Frank-Wolfe 方法。我们给出了纯随机优化与有限和问题的算法。对于后者，我们发展了方差缩减方法，包括近期提出的 Spider 技术的黎曼适配版本。在所有设定下，我们获得的收敛速率均可与对应欧氏情形已知最优速率相媲美。最后，我们讨论了两个经典任务的应用：正定矩阵的 Karcher 均值计算与多元正态分布的 Wasserstein 重心。对这两个任务，随机 Fw 方法均取得了最先进的经验性能。
引用
@article{arxiv.1910.04194,
title = {Projection-free nonconvex stochastic optimization on Riemannian manifolds},
author = {Melanie Weber and Suvrit Sra},
journal= {arXiv preprint arXiv:1910.04194},
year = {2021}
}
备注
Under Review