加速黎曼优化：利用近端算子处理约束以界定几何惩罚
最优化与控制
2023-01-18 v2 机器学习
摘要
我们针对一大类哈达玛流形中光滑且（强或非强）测地凸函数的优化，提出了一种全局加速的一阶方法。我们达到了与涅斯捷罗夫加速梯度下降相同的收敛速率，至多相差一个乘法几何惩罚与对数因子。关键在于，我们可以强制我们的方法停留于我们所定义的一个紧集中。先前完全加速的工作除了两种适用性有限的方法外，均诉诸于假设其算法的迭代停留在某个预先指定的紧集中。对于我们的流形，这解决了[KY22]中关于在无需迭代假设性停留于可行域的情况下获得全局一般加速的开放问题。在我们的解决方案中，我们设计了一种加速黎曼不精确邻近点算法，这一结果即便在精确访问邻近算子的情况下也是未知的，并且具有独立意义。对于光滑函数，我们展示了可以通过某些直径足以用于全局加速优化的黎曼球中的一阶方法不精确地实现邻近步。
引用
@article{arxiv.2211.14645,
title = {Accelerated Riemannian Optimization: Handling Constraints with a Prox to Bound Geometric Penalties},
author = {David Martínez-Rubio and Sebastian Pokutta},
journal= {arXiv preprint arXiv:2211.14645},
year = {2023}
}
备注
arxiv submission, first circulated in May 2022