模型对比联邦学习
机器学习
2021-03-31 v1 人工智能
计算机视觉与模式识别
摘要
联邦学习使多方能够在不通信其本地数据的情况下协作训练机器学习模型。联邦学习中的一个关键挑战是处理各方本地数据分布的异质性。尽管已提出许多研究来解决这一挑战，我们发现它们在带有深度学习模型的图像数据集上无法取得高性能。在本文中，我们提出 MOON：模型对比联邦学习（model-contrastive federated learning）。MOON 是一个简单而有效的联邦学习框架。MOON 的核心思想是利用模型表示之间的相似性来纠正各参与方的本地训练，即在模型层面进行对比学习。我们大量的实验表明，MOON 在各种图像分类任务上显著优于其他最先进的联邦学习算法。
引用
@article{arxiv.2103.16257,
title = {Model-Contrastive Federated Learning},
author = {Qinbin Li and Bingsheng He and Dawn Song},
journal= {arXiv preprint arXiv:2103.16257},
year = {2021}
}
备注
Accepted by CVPR 2021