论叛离在联邦学习中的影响及其预防方法
机器学习
2023-11-30 v1 分布式、并行与集群计算
计算机科学与博弈论
摘要
联邦学习是一种机器学习协议，使大量智能体能够在多轮协作中产生单一共识模型。在若干联邦学习应用中，智能体若对当前轮次的瞬时模型感到满意，可能会选择永久叛离——实质上退出协作。本工作展示了此类叛离对最终模型鲁棒性与泛化能力的有害影响。我们还表明，当前的联邦优化算法未能打消这些有害叛离的动机。我们引入了一种具有理论保证的新颖优化算法，可在防止叛离的同时确保所有参与智能体渐近收敛到有效解。我们还提供了数值实验以佐证我们的发现并证明算法的有效性。
引用
@article{arxiv.2311.16459,
title = {On the Effect of Defections in Federated Learning and How to Prevent Them},
author = {Minbiao Han and Kumar Kshitij Patel and Han Shao and Lingxiao Wang},
journal= {arXiv preprint arXiv:2311.16459},
year = {2023}
}