迈向多模型联邦学习中的最优异构客户端采样

联邦学习（FL）允许边缘设备在不共享本地数据的情况下协作训练模型。随着 FL 的普及，客户端可能需要训练多个不相关的 FL 模型，但通信约束限制了它们同时训练所有模型的能力。虽然客户端可以按顺序训练 FL 模型，但让 FL 客户端有机会并发地训练不同模型——称为多模型联邦学习（MMFL）——可以减少整体训练时间。先前的工作使用简单的客户端到模型分配，未能在整个训练过程中优化每个客户端对每个模型的贡献。先前关于单模型 FL 的工作表明，智能的客户端选择可以大大加速收敛，但将其简单扩展到 MMFL 可能会违反服务器和客户端两端的异构资源约束。在本工作中，我们对具有任意客户端采样方法的 MMFL 进行了新颖的收敛性分析，从理论上证明了先前成熟的基于梯度的方法的优势与局限性。受此分析启发，我们提出了 MMFL-LVR，这是一种基于损失的采样方法，可最小化训练方差，同时明确遵守服务器的通信限制并降低客户端的计算成本。我们将其扩展为 MMFL-StaleVR，该方法结合陈旧更新以提高效率和稳定性；以及 MMFL-StaleVRE，一种适用于低开销部署的轻量级变体。实验表明，与随机采样相比，我们的方法将平均准确率提高了高达 19.1%，与理论最优值（全客户端参与）仅有 5.4% 的差距。