基于模拟退火的渐进式联邦学习
机器学习
2021-12-15 v1
摘要
联邦平均（FedAvg）是一种流行的联邦学习（FL）技术，它通过平均本地模型来更新全局模型，然后将更新后的全局模型传输到设备以进行本地模型更新。FedAvg 的一个主要局限在于，基于平均的全局模型在训练过程早期未必优于本地模型，因此 FedAvg 在现实场景中可能会发散，尤其是在数据于设备间非独立同分布且各设备数据样本量差异显著时。在本文中，我们提出了一种基于模拟退火的新联邦学习技术。所提技术（以下称为基于模拟退火的联邦学习（SAFL））的核心思想是，在全局模型不成熟时允许设备选择其本地模型。具体而言，通过利用模拟退火策略，我们使每个设备在全局模型不成熟的早期迭代中以高概率选择其本地模型。通过使用各种基准数据集的广泛数值实验，我们证明了 SAFL 在收敛速度和分类精度方面优于传统 FedAvg 技术。
引用
@article{arxiv.2110.05178,
title = {Gradual Federated Learning with Simulated Annealing},
author = {Luong Trung Nguyen and Junhan Kim and Byonghyo Shim},
journal= {arXiv preprint arXiv:2110.05178},
year = {2021}
}