重新审视用于集中式网络优化的原始对偶乘子法
分布式、并行与集群计算
2021-07-21 v1 最优化与控制
摘要
原始对偶乘子法（PDMM）最初旨在求解一般网络上的可分解优化问题。在本文中，我们重新审视用于集中式网络优化的 PDMM。我们首先指出，近期提出的方法 FedSplit [1] 在集中式网络上实现了 PDMM。在 [1] 中，不精确 FedSplit（即基于梯度的 FedSplit）也从经验与理论两方面得到了研究。我们找出了不精确 FedSplit 所报告性能不佳的原因，即客户端梯度操作中初始化不当。为修复不精确 FedSplit 的问题，我们提出两个版本的不精确 PDMM，分别称为基于梯度的 PDMM（GPDMM）和加速 GPDMM（AGPDMM）。AGPDMM 以每次迭代从服务器向各客户端传输参数数量为 GPDMM 两倍为代价来加速 GPDMM。我们针对一类凸优化问题给出了 GPDMM 的新收敛界。我们的新界比针对不精确 FedSplit 导出的界更紧。我们还研究了 AGPDMM 与 SCAFFOLD 的更新表达式以发现其相似性。研究发现，当客户端每次迭代的梯度步数 K=1 时，在恰当参数设置下 AGPDMM 与 SCAFFOLD 均退化为朴素梯度下降。实验结果表明，当 K>1 时 AGPDMM 比 SCAFFOLD 收敛更快，而 GPDMM 收敛略差于 SCAFFOLD。
引用
@article{arxiv.2107.08809,
title = {Revisiting the Primal-Dual Method of Multipliers for Optimisation over Centralised Networks},
author = {Guoqiang Zhang and Kenta Niwa and W. Bastiaan Kleijn},
journal= {arXiv preprint arXiv:2107.08809},
year = {2021}
}
备注
13 pages