异质数据下去中心化 SGD 的精细化收敛与拓扑学习
机器学习
2022-10-24 v3 最优化与控制
机器学习
摘要
去中心化与联邦学习中的关键挑战之一是设计能高效处理智能体间高度异质数据分布的算法。本文重新审视了流行算法去中心化随机梯度下降(D-SGD)在数据异质下的分析。我们揭示了称为邻域异质性的新量在 D-SGD 收敛速率中的关键作用。通过将通信拓扑与异质性耦合,我们的分析阐明了这两个概念之间鲜被理解的相互作用。我们进而主张,邻域异质性为学习数据依赖拓扑提供了自然准则,可削弱(甚至消除)数据异质对 D-SGD 收敛时间的有害影响。针对标签偏斜分类这一重要情形,我们将学习此类优良拓扑的问题表述为一个易处理的优化问题,并用 Frank-Wolfe 算法求解。在一系列仿真与真实世界实验中可见,我们的方法为设计稀疏拓扑提供了原则性途径,能在数据异质下平衡 D-SGD 的收敛速度与每轮通信代价。
引用
@article{arxiv.2204.04452,
title = {Refined Convergence and Topology Learning for Decentralized SGD with Heterogeneous Data},
author = {Batiste Le Bars and Aurélien Bellet and Marc Tommasi and Erick Lavoie and Anne-Marie Kermarrec},
journal= {arXiv preprint arXiv:2204.04452},
year = {2022}
}