通过损失分解解决联邦学习中的数据异构性问题
机器学习
2024-10-01 v2
摘要
联邦学习（FL）是一种面向协作式隐私保护机器学习的方法，使大规模医疗数据可保留在各客户端本地。然而，数据异构性问题常导致本地模型发生发散，从而导致全局模型性能不佳。为缓解数据异构性对FL性能的影响，我们首先通过将全局损失分解为三个部分来分析FL训练如何影响FL性能：局部损失、分布迁移损失和聚合损失。令人惊讶的是，我们的损失分解揭示，现有基于局部训练的FL方法试图减少分布迁移损失，而基于全局聚合的FL方法则提出更好的聚合策略以减少聚合损失。然而，目前文献中综合性地最小化这三个损失的方法仍有限，导致在应对数据异构性挑战时性能不佳。为填补这一空白，我们提出一种新型FL方法，基于全局损失分解，称为FedLD，以联合减少这三个损失。我们的FedLD在局部训练中引入边际控制正则化以减少分布迁移损失，并采用基于主梯度的服务器聚合策略以减少聚合损失。值得注意的是，在不同水平的数据异构性下，我们的方法在视网膜和胸部X光分类任务上相较于其他FL算法表现更好且更稳健。我们的代码已公开于https://github.com/Zeng-Shuang/FedLD。
引用
@article{arxiv.2408.12300,
title = {Tackling Data Heterogeneity in Federated Learning via Loss Decomposition},
author = {Shuang Zeng and Pengxin Guo and Shuai Wang and Jianbo Wang and Yuyin Zhou and Liangqiong Qu},
journal= {arXiv preprint arXiv:2408.12300},
year = {2024}
}
备注
Modify some typos (MICCAI 2024)