循环坐标下降的最坏情况复杂度：与随机版本的 $O(n^2)$ 差距

本文关注用于最小化凸二次函数的循环坐标下降 (C-CD) 的最坏情况复杂度，该方法等价于高斯-赛德尔方法，并可转化为 Kaczmarz 方法和凸集投影 (POCS)。我们观察到 C-CD 已知可证明的复杂度可能比随机坐标下降 (R-CD) 慢 $O(n^2)$ 倍，但此前没有例子被严格证明表现出如此大的差距。本文中我们证明该差距确实存在。我们证明存在一个例子，使得 C-CD 至少需要进行 $O(n^4 \kappa_{\text{CD}} \log\frac{1}{\epsilon})$ 次运算，其中 $\kappa_{\text{CD}}$ 与 Demmel 条件数相关，并决定了 R-CD 的收敛速率。这意味着在最坏情况下 C-CD 确实可能比 R-CD 慢 $O(n^2)$ 倍，而 R-CD 的复杂度为 $O( n^2 \kappa_{\text{CD}} \log\frac{1}{\epsilon})$。注意对于该例子，差距存在于任何固定的更新顺序，而不仅是一种特定顺序。基于该例子，我们建立了 C-CD 针对二次问题的几个近乎紧的复杂度界。分析中的一个困难在于非对称迭代矩阵的谱半径不一定构成收敛速率的\textit{下界}。一个直接推论是，对于高斯-赛德尔方法、Kaczmarz 方法和 POCS，其循环版本与随机版本之间（对于求解线性系统）也存在 $O(n^2)$ 的差距。我们还证明了 Smith、Solmon 和 Wager [1] 给出的 POCS 经典收敛速率总是比我们的界更差，且有时可能差无穷多倍。