DONE：面向联邦边缘学习的分布式近似牛顿型方法
机器学习
2022-01-27 v4
摘要
将分布式机器学习应用于边缘计算以形成联邦边缘学习，正引起越来越多的关注。联邦边缘学习面临非独立同分布（non-i.i.d.）且异构的数据，并且边缘工作节点之间的通信（可能经由远距离位置和不稳定的无线网络）比其本地计算开销更为昂贵。在本工作中，我们提出DONE，一种具有快速收敛速率的分布式近似牛顿型算法，用于通信高效的联邦边缘学习。首先，在强凸且光滑的损失函数下，DONE利用每个边缘工作节点上的经典Richardson迭代以分布式方式近似牛顿方向。其次，我们证明DONE具有线性-二次收敛性，并分析了其通信复杂度。最后，在非独立同分布且异构数据上的实验结果表明，DONE达到了与牛顿法相当的性能。值得注意的是，与分布式梯度下降相比，DONE需要更少的通信迭代，并且在非二次损失函数情况下优于最先进的DANE和FEDL方法。
引用
@article{arxiv.2012.05625,
title = {DONE: Distributed Approximate Newton-type Method for Federated Edge Learning},
author = {Canh T. Dinh and Nguyen H. Tran and Tuan Dung Nguyen and Wei Bao and Amir Rezaei Balef and Bing B. Zhou and Albert Y. Zomaya},
journal= {arXiv preprint arXiv:2012.05625},
year = {2022}
}