随机变分不等式中乐观镜像下降的最后迭代收敛速率
最优化与控制
2021-07-06 v1 机器学习
摘要
本文分析了随机变分不等式中乐观镜像下降方法的局部收敛速率，该类优化问题在学习理论与机器学习中有重要应用。我们的分析揭示了算法的收敛速率与方法底层 Bregman 函数所诱导的局部几何之间的复杂关系。我们通过 Legendre 指数来量化这一关系，该概念由我们引入以度量在解附近 Bregman 散度相对于环境范数的增长速率。我们证明该指数决定了算法的最优步长策略与所达到的最优速率，从而解释了某些流行 Bregman 函数(欧氏投影、负熵、分数幂等)所观察到的差异。
引用
@article{arxiv.2107.01906,
title = {The Last-Iterate Convergence Rate of Optimistic Mirror Descent in Stochastic Variational Inequalities},
author = {Waïss Azizian and Franck Iutzeler and Jérôme Malick and Panayotis Mertikopoulos},
journal= {arXiv preprint arXiv:2107.01906},
year = {2021}
}
备注
31 pages, 3 figures, 1 table; to be presented at the 34th Annual Conference on Learning Theory (COLT 2021)