通过缓解本地训练中的遗忘加速联邦学习
机器学习
2022-03-08 v1 人工智能
摘要
联邦学习（FL）通过在每个客户端独立训练本地模型然后在中央服务器上聚合参数，从而实现机器学习模型的分布式优化并保护隐私，进而产生有效的全局模型。尽管已提出多种FL算法，但当数据在不同客户端间非独立同分布（non-i.i.d.）时，其训练效率仍然低下。我们观察到，现有方法收敛缓慢的原因（至少部分地）在于每个客户端本地训练阶段的灾难性遗忘问题，这导致关于其他客户端先前训练数据的损失函数大幅上升。在此，我们提出FedReg，一种通过在本地训练阶段用生成伪数据上的损失正则化本地训练参数以缓解知识遗忘从而加速FL的算法，这些伪数据编码了全局模型所学到的先前训练数据的知识。我们的综合实验表明，FedReg不仅显著提高了FL的收敛速度，尤其在神经网络架构较深且客户端数据极度非独立同分布时，而且在分类问题中能更好地保护隐私，并对梯度反转攻击更具鲁棒性。代码见：https://github.com/Zoesgithub/FedReg。
引用
@article{arxiv.2203.02645,
title = {Acceleration of Federated Learning with Alleviated Forgetting in Local Training},
author = {Chencheng Xu and Zhiwei Hong and Minlie Huang and Tao Jiang},
journal= {arXiv preprint arXiv:2203.02645},
year = {2022}
}
备注
In International Conference on Learning Representations (2021, Sept)