通过降低模型梯度多样性改进半监督联邦学习
机器学习
2021-03-10 v2 机器学习
摘要
联邦学习（FL）是一种在保持用户隐私的同时利用移动设备算力的 promising 途径。然而，当前 FL 工作做出了不现实的假设，即用户设备上有真值标签，同时假设服务器既无数据也无标签。本文考虑更现实的场景：用户仅有未标签数据，而服务器有一些标签数据，且标签数据量小于未标签数据量。我们称此学习问题为半监督联邦学习（SSFL）。针对 SSFL，我们证明影响测试准确率的一个关键问题是不同用户模型的梯度多样性过大。基于此，我们考察了若干设计选择。首先，我们发现半监督学习中广泛使用的所谓一致性正则化损失（CRL）表现尚可但具有较大梯度多样性。其次，我们发现批归一化（BN）增大了梯度多样性。用近期提出的组归一化（GN）替代 BN 可降低梯度多样性并提升测试准确率。第三，我们表明当用户数很大时，CRL 与 GN 结合仍具有较大梯度多样性。基于这些结果，我们提出一种新颖的基于分组的模型平均方法以替代 FedAvg 平均方法。总体而言，我们的基于分组的平均结合 GN 与 CRL，不仅比同一设定下一篇当代 SSFL 论文的测试准确率更高（>10%），也优于四种有监督 FL 算法。
引用
@article{arxiv.2008.11364,
title = {Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models},
author = {Zhengming Zhang and Yaoqing Yang and Zhewei Yao and Yujun Yan and Joseph E. Gonzalez and Michael W. Mahoney},
journal= {arXiv preprint arXiv:2008.11364},
year = {2021}
}