通过Logits校准处理标签分布倾斜的联邦学习
机器学习
2022-09-27 v2 人工智能
摘要
传统的联邦优化方法在异构数据（即准确率下降）下表现不佳，尤其是对于高度倾斜的数据。在本文中，我们研究联邦学习（FL）中的标签分布倾斜，即标签的分布跨客户端变化。首先，我们从统计视角考察标签分布倾斜。我们从理论和经验上证明，先前基于softmax交叉熵的方法并不适用，其会导致局部模型严重过拟合于少数类并缺失类。此外，我们从理论上引入一个偏差界来衡量局部更新后梯度的偏差。最后，我们提出FedLC（通过Logits校准的联邦学习，\textbf{Fed}erated learning via \textbf{L}ogits \textbf{C}alibration），其根据每个类出现的概率在softmax交叉熵之前对logits进行校准。FedLC通过添加成对标签间隔，将细粒度校准交叉熵损失应用于局部更新。在联邦数据集和真实世界数据集上的大量实验表明，FedLC带来了更准确的全局模型以及大幅改善的性能。此外，将其他FL方法集成到我们的方法中可进一步增强全局模型的性能。
引用
@article{arxiv.2209.00189,
title = {Federated Learning with Label Distribution Skew via Logits Calibration},
author = {Jie Zhang and Zhiqi Li and Bo Li and Jianghe Xu and Shuang Wu and Shouhong Ding and Chao Wu},
journal= {arXiv preprint arXiv:2209.00189},
year = {2022}
}
备注
Accepted at ICML 2022