MimiC：通过模仿中心更新应对联邦学习中的客户端掉线问题
机器学习
2024-04-09 v4 分布式、并行与集群计算
摘要
联邦学习 (FL) 是一种前景广阔的隐私保护协作学习框架，其中模型训练任务被分发至客户端，仅需在服务器收集模型更新。然而，当部署于移动边缘网络时，客户端可用性不可预测并可能退出训练过程，这阻碍了 FL 的收敛。本文解决了这一关键挑战。具体而言，我们首先研究了经典 FedAvg 算法在任意客户端掉线情况下的收敛性。我们发现，在采用常见的衰减学习率时，FedAvg 会在全局损失函数的驻点附近振荡，这是由聚合更新与期望中心更新之间的偏差引起的。受这一新观察的启发，我们随后设计了一种名为 MimiC 的新型训练算法，其中服务器基于先前的更新修改每个接收到的模型更新。所提出的对接收模型更新的修改模仿了假想的中心更新，而与掉线客户端无关。对 MimiC 的理论分析表明，聚合更新与中心更新之间的偏差随适当的学习率而减小，从而实现其收敛。仿真结果进一步证明，MimiC 保持了稳定的收敛性能，并比基线方法学到了更好的模型。
引用
@article{arxiv.2306.12212,
title = {MimiC: Combating Client Dropouts in Federated Learning by Mimicking Central Updates},
author = {Yuchang Sun and Yuyi Mao and Jun Zhang},
journal= {arXiv preprint arXiv:2306.12212},
year = {2024}
}