用于复合凸优化的带外推的加速循环坐标对偶平均法
最优化与控制
2023-03-30 v1 机器学习
摘要
以循环方式利用部分一阶信息可以说是获得可扩展一阶方法最自然的策略。然而，尽管循环格式在实践中被广泛使用，但从理论角度看，它们远不如其随机对应格式那样被充分理解。受近期在分析用于广义变分不等式的外推循环格式方面成功的启发，我们提出了一种用于复合凸优化的带外推的加速循环坐标对偶平均(A-CODER)方法，其中目标函数可表示为一个通过梯度预言机访问的光滑凸函数与一个通过邻近预言机访问的凸的、可能非光滑的函数之和。我们证明，与先前工作相比，A-CODER在改进对块数依赖的同时达到了最优收敛速率。此外，对于目标函数的光滑分量可表示为有限和形式的情形，我们引入了A-CODER的方差缩减变体VR-A-CODER，其具有最先进的复杂度保证。最后，我们通过数值实验证明了我们算法的有效性。
引用
@article{arxiv.2303.16279,
title = {Accelerated Cyclic Coordinate Dual Averaging with Extrapolation for Composite Convex Optimization},
author = {Cheuk Yin Lin and Chaobing Song and Jelena Diakonikolas},
journal= {arXiv preprint arXiv:2303.16279},
year = {2023}
}