动态设备加入与离开场景下的通信高效联邦学习：收敛性分析与算法设计
机器学习
2025-12-30 v3
摘要
大多数联邦学习（FL）方法都假设设备集是固定的。然而，现实世界场景中，设备通常会由于用户移动模式或跨小区边界切换等原因动态地加入或离开系统。这种动态设置引入了独特的挑战：（1）优化目标随活动设备集而变化，不同于传统FL的静态目标；（2）当前的全局模型可能不再作为后续轮次的有效初始化，可能阻碍适应、延迟收敛并降低资源效率。为了应对这些挑战，我们首先对动态设备集下的FL进行了收敛性分析，考虑了梯度噪声、本地训练迭代和数据异质性等因素。在此分析基础上，我们提出了一种模型初始化算法，该算法能够在设备加入或离开网络时实现快速适应。我们的核心思想是计算先前全局模型的加权平均值，以梯度相似性为指导，优先考虑在与当前设备集数据分布高度一致的数据上训练的模型，从而在更少的训练轮次中加速从分布偏移中恢复。这种即插即用的算法旨在与现有的FL方法无缝集成，具有广泛的适用性。实验表明，与基线相比，我们的方法通常能实现一个数量级或更高的收敛加速，我们证明这能显著降低达到目标精度所需的能耗。
引用
@article{arxiv.2410.05662,
title = {Communication-Efficient Federated Learning under Dynamic Device Arrival and Departure: Convergence Analysis and Algorithm Design},
author = {Zhan-Lun Chang and Dong-Jun Han and Seyyedali Hosseinalipour and Mung Chiang and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2410.05662},
year = {2025}
}