应对数据异构性：一种基于样本诱导拓扑的去中心化 SGD 统一新框架
最优化与控制
2022-07-11 v1 分布式、并行与集群计算
机器学习
摘要
我们开发了一个通用框架，统一了集中式与分布式场景下用于经验风险最小化问题的若干基于梯度的随机优化方法。该框架的关键在于引入一个增广图，其节点建模样本、边建模设备间通信与设备内随机梯度计算。通过适当设计增广图的拓扑，我们能够将著名的 Local-SGD 与 DSGD 算法作为特例恢复，并为方差缩减（VR）与梯度跟踪（GT）方法（如 SAGA、Local-SVRG 与 GT-SAGA）提供统一视角。我们还借助恰当的结构化 Lyapunov 函数，对光滑且（强）凸目标给出了统一收敛性分析，所得收敛速率可恢复许多现有算法的最佳已知结果。速率结果进一步揭示，VR 与 GT 方法可分别有效消除设备内与设备间的数据异构性，使算法精确收敛到最优解。数值实验证实了本文的发现。
引用
@article{arxiv.2207.03730,
title = {Tackling Data Heterogeneity: A New Unified Framework for Decentralized SGD with Sample-induced Topology},
author = {Yan Huang and Ying Sun and Zehan Zhu and Changzhi Yan and Jinming Xu},
journal= {arXiv preprint arXiv:2207.03730},
year = {2022}
}
备注
This work will appear in ICML 2022