面向非凸模型与异构数据的统一动量式去中心化SGD范式
机器学习
2023-03-02 v1 分布式、并行与集群计算
摘要
新兴的分布式应用近期推动了去中心化机器学习的发展，尤其在物联网（IoT）与边缘计算领域。在实际场景中，非凸性与数据异构性的普遍问题导致效率低下、性能下降与发展停滞。大量研究仅聚焦于上述某一问题，而缺乏已被证明最优的更通用框架。为此，我们提出一种称为UMP的统一范式，其包含基于动量技术与去中心化随机梯度下降（SGD）的两种算法D-SUM与GT-DSUM。前者为一般非凸目标提供收敛保证；后者通过引入梯度跟踪进行扩展，估计全局优化方向以缓解数据异构性（即分布漂移）。基于经典重球或Nesterov加速的不同参数，UMP可涵盖大多数基于动量的变体。在理论上，我们严格给出了这两种方法针对非凸目标的收敛分析，并进行了广泛实验，表明在实践中与其他方法相比模型精度显著提升达57.6%。
引用
@article{arxiv.2303.00179,
title = {A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data},
author = {Haizhou Du and Chengdong Ni},
journal= {arXiv preprint arXiv:2303.00179},
year = {2023}
}
备注
24 pages