Bregman近邻方法的收敛速率:局部几何 vs. 正则性 vs. 锐度
最优化与控制
2024-12-13 v3 机器学习
摘要
我们考察Bregman近邻方法——从镜像下降至mirror-prox及其乐观变体——的末次迭代收敛速率,视其为方法所定义的近邻映射诱导的局部几何的函数。为求一般性,我们聚焦于约束非单调变分不等式的局部解,并表明给定方法的收敛速率尖锐地依赖于其相伴的Legendre指数,该概念度量底层Bregman函数(欧氏、熵或其他)在解附近的增长率。特别地,我们证明边界解在零与非零Legendre指数的方法间呈现鲜明的 regime 分离:前者以线性速率收敛,而后者一般次线性收敛。这一二分法在线性约束问题中更为显著,其中具有熵正则化的方法沿锐方向实现线性收敛速率,而欧氏正则化下则在有限步内收敛。
引用
@article{arxiv.2211.08043,
title = {The rate of convergence of Bregman proximal methods: Local geometry vs. regularity vs. sharpness},
author = {Waïss Azizian and Franck Iutzeler and Jérôme Malick and Panayotis Mertikopoulos},
journal= {arXiv preprint arXiv:2211.08043},
year = {2024}
}
备注
30 pages, 3 figures, 2 tables