通过稳定与改进非 IID 数据及客户端掉线下的联邦学习
机器学习
2023-03-16 v2 分布式、并行与集群计算
摘要
标签分布偏移导致的数据异质性已被证明是限制联邦学习中模型性能的重要障碍，联邦学习特别为在分散数据源上协作训练模型同时保护用户隐私而发展。当参与客户端处于不稳定环境且频繁掉线时，这一挑战可能更为严重。先前工作及我们的经验观察表明，分类任务的分类器头部对标签偏移更敏感，且 FedAvg 的不稳定性能主要在于不同类别间训练样本的不平衡。有偏的分类器头部也会影响特征表示的学习。因此，维持平衡的分类器头部对构建更好的全局模型至关重要。为此，我们提出一个简单而有效的框架，引入先验校准 softmax 函数计算交叉熵损失，以及基于原型的特性增强方案来重新平衡本地训练，这对边缘设备轻量且能促进全局模型聚合。通过在基准分类任务上进行大量实验，证明了在非 IID 数据和客户端掉线情况下，相较现有基线改进了的模型性能。
引用
@article{arxiv.2303.06314,
title = {Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout},
author = {Jian Xu and Meiling Yang and Wenbo Ding and Shao-Lun Huang},
journal= {arXiv preprint arXiv:2303.06314},
year = {2023}
}
备注
This work has been submitted to the IEEE for possible publication