行走学习：一种面向异质数据联邦学习的随机游走方法
机器学习
2022-06-03 v1 信息论
math.IT
摘要
我们考虑参数服务器（PS）希望学习拟合分布于图节点上数据的模型的问题。我们以联邦学习（FL）作为典型应用。FL 的主要挑战之一是节点与参数服务器间的通信瓶颈。文献中一种流行解法是允许每个节点在每轮将模型发回 PS 前做若干次本地更新。尽管这缓解了通信瓶颈，但不同节点所持数据的统计异质性已被证明会延迟收敛并使模型偏置。本工作中，我们研究随机游走（RW）学习算法以应对通信与数据异质性问题。主要思想是利用节点间可用的直接连接，其通常比至 PS 的通信“更廉价”。在随机游走中，模型被视为“接力棒”，在每轮更新后由一节点传至其邻居之一。设计 RW 的挑战在于数据异质性与数据分布的不确定性。理想情况下，我们希望更频繁访问持有更具信息量数据的节点。我们将此问题建模为睡眠多臂老虎机（MAB），以设计近最优节点采样策略，实现方差缩减的梯度估计并亚线性逼近最优采样策略。基于此框架，我们提出一种自适应随机游走学习算法。我们提供了其收敛性的理论保证。数值结果验证了理论发现，并表明我们的算法优于现有随机游走算法。
引用
@article{arxiv.2206.00737,
title = {Walk for Learning: A Random Walk Approach for Federated Learning from Heterogeneous Data},
author = {Ghadir Ayache and Venkat Dassari and Salim El Rouayheb},
journal= {arXiv preprint arXiv:2206.00737},
year = {2022}
}