镜像下降法的收敛速率界：IQC、Popov判据与Bregman散度
最优化与控制
2024-09-16 v4
摘要
本文对凸优化中广泛使用的算法——镜像下降(MD)法给出了全面的收敛分析。该算法的关键特征是它通过使用由Bregman散度公式化的广义类距离函数，提供了经典基于梯度方法的推广。由于所涉及的复合非线性缺乏单调性性质，建立该算法的收敛速率界一般来说是一个非平凡问题。在本文中，我们表明从最优解出发的Bregman散度（通常用作该算法的李雅普诺夫函数）是当Popov判据应用于MD动力学适当重构时所得李雅普诺夫函数的特例。这随后被用作构建积分二次约束(IQC)框架的基础，通过该框架可推导出保守性降低的收敛速率界。我们还通过例子说明所推导的收敛速率界可以是紧的。
引用
@article{arxiv.2304.03886,
title = {Convergence Rate Bounds for the Mirror Descent Method: IQCs, Popov Criterion and Bregman Divergence},
author = {Mengmou Li and Khaled Laib and Takeshi Hatanaka and Ioannis Lestas},
journal= {arXiv preprint arXiv:2304.03886},
year = {2024}
}
备注
Accepted Version. arXiv admin note: substantial text overlap with arXiv:2204.00502