循环块坐标下降类算法的最坏情况分析
最优化与控制
2025-07-23 v1
摘要
我们研究了块坐标下降 (BCD) 类型算法用于无约束凸函数最小化的最坏情况行为。这种行为确实并未完全理解，而这些算法的实际成功也未完全得到当前收敛分析的解释。我们将最近提出的性能估计问题 (PEP) 方法扩展到凸坐标光滑函数上，提出必要的插值条件。随后，我们利用这一点获得了三种不同 BCD 算法（循环坐标下降 (CCD)、交替最小化 (AM) 和循环版随机加速坐标下降 (CACD)）在最坏情况下的改进数值上界，某些情况下显著优于当前最佳界限。此外，我们展示了在凸优化上下文中，使用比文献中通常所做假设更自然的假设，CCD 算法的收敛性。我们的方法揭示了若干现象，其中一些可以形式化地建立，包括 CCD 最坏情况相对于坐标光滑常数的尺度不变性，以及 CCD 最坏情况性能下界等于块数乘以光滑凸函数类中完整梯度下降的最坏情况。我们还将我们的框架 adapted to random BCD algorithms 的分析，呈现数值结果表明，Fercoq 和 Richt\'arik (2015) 中的标准加速方案对于确定性算法似乎不够有效。
引用
@article{arxiv.2507.16675,
title = {On the Worst-Case Analysis of Cyclic Block Coordinate Descent type Algorithms},
author = {Yassine Kamri and François Glineur and Julien M. Hendrickx and Ion Necoara},
journal= {arXiv preprint arXiv:2507.16675},
year = {2025}
}
备注
39 pages, 7 figures