联邦学习中类别不平衡的实验研究
机器学习
2022-03-30 v2
摘要
联邦学习是一种分布式机器学习范式，它在保护本地数据隐私的同时，基于客户端的多个本地模型训练一个用于预测的全局模型。类别不平衡被认为是降低全局模型性能的因素之一。然而，关于类别不平衡是否以及如何影响全局性能的研究非常少。由于本地客户端存在不同的类别不平衡情况，联邦学习中的类别不平衡比传统的非分布式机器学习中的要复杂得多。类别不平衡需要在分布式学习环境中重新定义。在本文中，首先，我们提出了两个新指标来定义类别不平衡——全局类别不平衡度（MID）和客户端间类别不平衡的局部差异（WCS）。然后，我们基于我们的定义进行了广泛的实验，以分析类别不平衡在各种场景下对全局性能的影响。我们的结果表明，更高的MID和更大的WCS会更多地降低全局模型的性能。此外，WCS被证明会通过误导优化方向来减慢全局模型的收敛速度。
引用
@article{arxiv.2109.04094,
title = {An Experimental Study of Class Imbalance in Federated Learning},
author = {C. Xiao and S. Wang},
journal= {arXiv preprint arXiv:2109.04094},
year = {2022}
}