面向非凸优化的带双慢估计与基于动量的方差缩减的分散式局部更新方法
分布式、并行与集群计算
2023-07-18 v1
摘要
分散式学习(DL)近来采用局部更新以降低一般非凸优化问题的通信开销。具体而言，局部更新要求每个节点在与其他节点通信前对本地模型参数执行多步更新。然而，大多数现有方法可能对数据异构性（即非独立同分布数据分布）高度敏感，并受到随机梯度噪声的不利影响。本文中，我们提出DSE-MVR以解决这些问题。具体而言，DSE-MVR引入双慢估计策略，利用梯度跟踪技术估计全局累积更新方向以处理数据异构性问题；同时针对随机噪声，该方法使用基于小批量动量的方差缩减技术。我们从理论上证明DSE-MVR在独立同分布与非独立同分布数据分布设定下均能取得一般非凸优化的最优收敛结果。特别地，DSE-MVR导出的收敛速率中的主导项对于大批量或大部分平均间隔（即局部更新步数）独立于随机噪声。进一步，我们提出DSE-SGD并从理论上论证了双慢估计策略在数据异构性设定中的重要性。最后，我们进行了大量实验以展示DSE-MVR相对于其他最先进方法的优越性。
引用
@article{arxiv.2307.08299,
title = {Decentralized Local Updates with Dual-Slow Estimation and Momentum-based Variance-Reduction for Non-Convex Optimization},
author = {Kangyang Luo and Kunkun Zhang and Shengbo Zhang and Xiang Li and Ming Gao},
journal= {arXiv preprint arXiv:2307.08299},
year = {2023}
}