基于矩阵步长的方差缩减分布式非凸优化
最优化与控制
2024-10-11 v3
摘要
矩阵步长梯度下降算法在非凸优化问题中已被证明比标量步长算法具有更优的性能。Li等人(2023)提出的det-CGD算法利用矩阵步长以联邦方式对非凸目标和矩阵光滑问题进行压缩梯度下降。作者在对称正定矩阵步长的凸条件下，建立了该算法收敛到加权驻点邻域的结果。在本文中，我们提出了det-CGD算法的两个方差缩减版本，分别结合了MARINA和DASHA方法。值得注意的是，我们从理论和实验上证明，det-MARINA和det-DASHA在迭代复杂度和通信复杂度方面优于MARINA、DASHA以及分布式det-CGD算法。
引用
@article{arxiv.2310.04614,
title = {Variance Reduced Distributed Non-Convex Optimization Using Matrix Stepsizes},
author = {Hanmin Li and Avetik Karagulyan and Peter Richtárik},
journal= {arXiv preprint arXiv:2310.04614},
year = {2024}
}
备注
Major update: The paper now includes an analysis of det-DASHA, which is another variance reduction extension of det-CGD. 63 pages, 12 figures