FedProc：面向非独立同分布数据的原型对比联邦学习
机器学习
2021-09-28 v1 分布式、并行与集群计算
摘要
联邦学习允许多个客户端在将训练数据保留在本地的情况下协作训练高性能深度学习模型。然而，当所有客户端的本地数据不独立同分布（即非 IID）时，实现这种高效的协作学习具有挑战性。尽管已投入大量努力应对该挑战，其在图像分类任务上的效果仍不尽如人意。本文中，我们提出 FedProc：原型对比联邦学习，这是一个简单而有效的联邦学习框架。其核心思想是利用原型作为全局知识来纠正每个客户端的本地训练。我们设计了一种本地网络架构和一种全局原型对比损失以规范本地模型的训练，使本地目标与全局最优一致。最终，收敛的全局模型在非 IID 数据上获得了良好性能。实验结果表明，与最先进的联邦学习方法相比，FedProc 以可接受的计算代价将准确率提升了 。
引用
@article{arxiv.2109.12273,
title = {FedProc: Prototypical Contrastive Federated Learning on Non-IID data},
author = {Xutong Mu and Yulong Shen and Ke Cheng and Xueli Geng and Jiaxuan Fu and Tao Zhang and Zhiwei Zhang},
journal= {arXiv preprint arXiv:2109.12273},
year = {2021}
}