中文

黎曼无投影在线学习

机器学习 2024-06-04 v2 机器学习

摘要

投影操作是在线梯度下降(OGD)等广泛优化算法中的关键组成部分,用于强制约束并实现最优后悔界。然而,在高维设置或处理病态约束集时,它面临计算复杂度的限制。无投影算法通过用更高效的优化子程序替代投影预言机来解决此问题。但迄今为止,这些方法主要在欧几里得设置中发展,尽管在黎曼流形上的优化日益受到关注,基本上尚无工作尝试在此利用无投影工具。一个明显的难题是,非平凡仿射函数在此类域中一般是非凸的。本文针对弯曲空间上在线测地凸优化的两种场景,提出了获得次线性后悔保证的方法:当我们可访问(a)分离预言机或(b)线性优化预言机时。对于测地凸损失,在可获得分离预言机时,我们的算法在全信息设置和赌博机设置下分别达到 O(T1/2)O(T^{1/2}\:)O(T3/4  )O(T^{3/4}\;) 的自适应后悔保证。当可获得线性优化预言机时,我们对测地凸损失获得 O(T3/4  )O(T^{3/4}\;) 的后悔率,对强测地凸损失获得 O(T2/3  logT)O(T^{2/3}\; log T ) 的后悔率。

关键词

引用

@article{arxiv.2305.19349,
  title  = {Riemannian Projection-free Online Learning},
  author = {Zihao Hu and Guanghui Wang and Jacob Abernethy},
  journal= {arXiv preprint arXiv:2305.19349},
  year   = {2024}
}

备注

Published in Proceedings of The Thirty-seventh Annual Conference on Neural Information Processing Systems (NeurIPS 2023)