从最坏情况复杂度理解两种对称化顺序的局限性
最优化与控制
2021-01-15 v2 机器学习
摘要
更新顺序是块分解算法的主要设计选择之一。至少存在两类确定性更新顺序：非对称（如循环顺序）与对称（如高斯回代或对称高斯-赛德尔）。近来，循环顺序的坐标下降（CD）被证明在最坏情况下比随机版本慢 倍。一个自然的问题是：对称化顺序能否比循环顺序实现更快的收敛速率，甚至接近随机版本？本文中，我们对这一问题给出否定回答。我们表明，高斯回代（GBS）与对称高斯-赛德尔（sGS）在最坏情况下均遭受与循环顺序相同的慢收敛问题。具体而言，我们证明对于无约束问题，GBS-CD 与 sGS-CD 均可能比 R-CD 慢 倍。除无约束问题外，我们还对具有二次目标的线性约束问题进行了实证研究：我们经验性地证明，GBS-ADMM 与 sGS-ADMM 的收敛速度可比随机置换 ADMM 慢约 倍。
引用
@article{arxiv.1910.04366,
title = {Understanding Limitation of Two Symmetrized Orders by Worst-case Complexity},
author = {Peijun Xiao and Zhisheng Xiao and Ruoyu Sun},
journal= {arXiv preprint arXiv:1910.04366},
year = {2021}
}
备注
31 pages, 9 tables