中文

确保有界几何罚项的黎曼极小极大加速方法

最优化与控制 2023-10-31 v2 机器学习

摘要

在这项工作中,我们研究形如 minxmaxyf(x,y)\min_x \max_y f(x, y) 的优化问题,其中 f(x,y)f(x, y) 定义在乘积黎曼流形 M×N\mathcal{M} \times \mathcal{N} 上,且关于 xxμx\mu_x-强测地凸(g-凸)的,关于 yyμy\mu_y-强 g-凹的,其中 μx,μy0\mu_x, \mu_y \geq 0。当 ff(Lx,Ly,Lxy)(L_x, L_y, L_{xy})-光滑且 M\mathcal{M}N\mathcal{N} 为 Hadamard 流形时,我们设计了加速方法。为此,我们引入了具有独立意义的新的 g-凸优化结果:我们展示了度量投影黎曼梯度下降的全局线性收敛性,并通过减小几何常数改进了现有的加速方法。此外,我们通过移除关于迭代点停留在预先指定的紧集中的假设,补全了之前两项适用于黎曼极小极大情形的工作的分析。

关键词

引用

@article{arxiv.2305.16186,
  title  = {Accelerated Methods for Riemannian Min-Max Optimization Ensuring Bounded Geometric Penalties},
  author = {David Martínez-Rubio and Christophe Roux and Christopher Criscitiello and Sebastian Pokutta},
  journal= {arXiv preprint arXiv:2305.16186},
  year   = {2023}
}

备注

added weakly-convex analysis, and some remarks