基于异步分布式丢弃的高效轻量联邦学习
机器学习
2022-10-31 v1 人工智能
信息论
math.IT
最优化与控制
摘要
异步学习协议近来重新受到关注，尤其在联邦学习（FL）设置中，较慢的客户端会严重阻碍学习进程。在此，我们提出 \texttt{AsyncDrop}，一种新颖的异步 FL 框架，利用丢弃正则化来处理分布式设置中的设备异构性。总体而言，\texttt{AsyncDrop} 相较于最先进的异步方法取得了更优性能，同时带来更少的通信与训练时间开销。其核心思想在于基于设备异构性从全局模型创建“子模型”并将其训练分配给工作节点。我们严格论证了这种方法可在理论上刻画。我们实现了该方法，并将其与其他异步基线进行比较，包括通过设计比较以及将现有同步 FL 算法适配至异步场景。经验上，\texttt{AsyncDrop} 在多样的非独立同分布 FL 场景中降低了通信成本与训练时间，同时匹配或提升了最终测试精度。
引用
@article{arxiv.2210.16105,
title = {Efficient and Light-Weight Federated Learning via Asynchronous Distributed Dropout},
author = {Chen Dun and Mirian Hipolito and Chris Jermaine and Dimitrios Dimitriadis and Anastasios Kyrillidis},
journal= {arXiv preprint arXiv:2210.16105},
year = {2022}
}