多面体上凸优化的循环坐标下降法
最优化与控制
2023-04-28 v2
摘要
坐标下降算法因每次迭代成本低而在超大规模优化问题中广受欢迎。坐标下降方法适用于约束集在各坐标上可分离的问题。在本文中，我们提出一种新的循环坐标下降法变体，可处理多面体约束，只要该多面体集合的极值点不太多，例如 L1-球和标准单纯形。粗略地说，我们提出的算法 PolyCD 可视为循环坐标下降与 Frank-Wolfe 算法的混合。我们证明对于光滑凸目标，PolyCD 具有 O(1/k) 收敛速率。受 Frank-Wolfe 的 away-step 变体启发，我们提出带 away 步的 PolyCD 变体 PolyCDwA，当损失函数光滑且强凸时具有线性收敛速率。实证研究表明，PolyCDwA 在包括 L1 约束线性回归、L1 约束逻辑回归和核密度估计的大规模基准问题上取得了强劲的计算性能。
引用
@article{arxiv.2303.07642,
title = {A Cyclic Coordinate Descent Method for Convex Optimization on Polytopes},
author = {Rahul Mazumder and Haoyue Wang},
journal= {arXiv preprint arXiv:2303.07642},
year = {2023}
}