FedProto：异构客户端间的联邦原型学习
机器学习
2022-03-08 v4 分布式、并行与集群计算
摘要
联邦学习（FL）中客户端间的异构性通常在客户端知识于梯度空间聚合时阻碍优化收敛与泛化性能。例如，客户端可能在数据分布、网络延迟、输入/输出空间和/或模型架构方面存在差异，这极易导致其本地梯度错位。为提升对异构性的容忍度，我们提出一种新颖的联邦原型学习（FedProto）框架，其中客户端与服务器通信抽象的类别原型而非梯度。FedProto聚合从不同客户端收集的本地原型，然后将全局原型发回所有客户端以正则化本地模型的训练。每个客户端上的训练旨在最小化本地数据上的分类误差，同时使所得本地原型与相应全局原型足够接近。此外，我们给出了非凸目标下FedProto收敛速率的理论分析。实验中，我们提出了一种为异构FL定制的基准设置，FedProto在多个数据集上优于几种近期FL方法。
引用
@article{arxiv.2105.00243,
title = {FedProto: Federated Prototype Learning across Heterogeneous Clients},
author = {Yue Tan and Guodong Long and Lu Liu and Tianyi Zhou and Qinghua Lu and Jing Jiang and Chengqi Zhang},
journal= {arXiv preprint arXiv:2105.00243},
year = {2022}
}