中文

镜像下降法的收敛速率界:积分二次约束与 Bregman 散度

最优化与控制 2022-09-12 v2 系统与控制 系统与控制

摘要

本文研究凸优化中著名算法——镜像下降(MD)法的收敛分析。构建了基于积分二次约束(IQC)的分析框架,用以分析连续时间与离散时间下具有强凸目标函数的 MD 法收敛速率。我们将寻找 MD 算法收敛速率的问题分别转化为两种方案下线性矩阵不等式(LMI)的可行性问题的求解。特别地,在连续时间情形下,我们表明当将 Popov 判据应用于该问题的适当重构形式时,通常用作该算法 Lyapunov 函数的 Bregman 散度函数,是与 Popov 判据相关联的 Lyapunov 函数类的一个特例。因此,应用 Popov 判据及其与其他 IQC 的组合,可获得保守性降低的收敛速率界。我们还通过实例说明所推导的收敛速率界可以是紧的。

关键词

引用

@article{arxiv.2204.00502,
  title  = {Convergence Rate Bounds for the Mirror Descent Method: IQCs and the Bregman Divergence},
  author = {Mengmou Li and Khaled Laib and Ioannis Lestas},
  journal= {arXiv preprint arXiv:2204.00502},
  year   = {2022}
}

备注

6 pages, 3 figures