常步长量化分布式梯度下降的收敛性质及一种有效的步长选择策略
最优化与控制
2023-07-03 v1
摘要
在本文中，我们建立了量化分布式梯度下降的新收敛结果，并提出了一种为算法高性能而选择步长的新策略。在聚合代价函数强凸且各局部代价函数光滑的假设下，我们证明该算法以指数速度收敛到优化器的一个小邻域，其半径依赖于步长。基于我们的收敛结果，我们提出了一种有效的步长选择方法，其在若干特定迭代后重复减小步长。收敛结果及所建议步长选择的有效性也通过数值实验得到验证。
引用
@article{arxiv.2306.17481,
title = {Convergence property of the Quantized Distributed Gradient descent with constant stepsizes and an effective strategy for the stepsize selection},
author = {Woocheol Choi and Myeong-Su Lee},
journal= {arXiv preprint arXiv:2306.17481},
year = {2023}
}
备注
21 pages, 4 figures