强凸最小化中循环块坐标下降型方法的更快收敛性

循环块坐标下降型（CBCD-type）方法在整个过程中同时对若干坐标（一个块）进行迭代更新，在求解强凸最小化问题上已展现出卓越的计算性能。典型应用包括许多流行的统计机器学习方法，如 elastic-net regression、ridge penalized logistic regression 和 sparse additive regression。现有优化文献表明，对于强凸最小化，CBCD-type方法达到迭代复杂度$\mathcal{O}(p\log(1/\epsilon))$，其中$\epsilon$为目标值的预设精度，$p$为块数。然而，该迭代复杂度显式依赖于$p$，因此比梯度下降（GD）方法的复杂度$\mathcal{O}(\log(1/\epsilon))$至少差$p$倍。为弥合此理论差距，我们提出一种针对CBCD-type方法的改进收敛分析。具体而言，我们首先证明，对于一类二次最小化问题，CBCD-type方法的迭代复杂度$\mathcal{O}(\log^2(p)\cdot\log(1/\epsilon))$在关于$p$的依赖性上（至多相差一个$\log^2 p$因子）与GD方法相匹配。因此，我们的复杂度界比现有界至少锐利一个$p/\log^2(p)$的因子。我们还提供了一个下界，在Hessian矩阵的最大与最小特征值不随$p$缩放的假设下，确认我们的改进复杂度界是紧的（至多相差一个$\log^2 (p)$因子）。最后，我们将分析推广到二次之外的其他强凸最小化问题。