联邦学习中的鲁棒性与个性化：一种基于正则化的统一方法
机器学习
2022-07-13 v3 分布式、并行与集群计算
最优化与控制
机器学习
摘要
我们提出一类用于鲁棒、个性化联邦学习的方法，称为 Fed+，它统一了许多联邦学习算法。这类方法的主要优势在于更好地适应联邦训练中的现实特征，例如各方间缺乏 IID 数据、需要对离群值或掉队者具有鲁棒性，以及需要在各方特定数据集上表现良好。我们通过一个问题表述实现这一点，该表述允许中心服务器采用鲁棒的局部模型聚合方式，同时保持局部计算结构不变。在不对各方局部数据异质程度作任何统计假设的情况下，我们针对凸和非凸损失函数在不同（鲁棒）聚合方法下为 Fed+ 提供了收敛保证。Fed+ 理论也能在无需额外假设的情况下处理包含掉队者在内的异构计算环境；具体而言，收敛结果涵盖了各方局部更新步数可变化的通用设定。我们通过标准基准数据集上的大量实验展示了 Fed+ 的益处。
引用
@article{arxiv.2009.06303,
title = {Robustness and Personalization in Federated Learning: A Unified Approach via Regularization},
author = {Achintya Kundu and Pengqian Yu and Laura Wynter and Shiau Hong Lim},
journal= {arXiv preprint arXiv:2009.06303},
year = {2022}
}
备注
Accepted by IEEE EDGE 2022 (16 pages, 4 figures, 2 tables)