UniFed：一种面向非独立同分布图像特征的联邦学习统一框架
机器学习
2023-02-17 v3
摘要
如何处理非独立同分布（non-iid）数据是联邦学习中的一个关键问题。这一挑战性问题不仅影响训练过程，也损害未参与训练的客户端性能。现有文献主要聚焦于其中一方面，仍缺乏一种统一方案以联合方式处理这两类（内部与外部）客户端。本工作中，我们提出一个统一框架来共同解决内部与外部客户端的非独立同分布问题。首先，我们提出在内部或外部客户端中使用客户端特定的批归一化，以缓解由非独立同分布数据引起的特征分布偏移。随后我们给出理论分析以证明客户端特定批归一化的益处。具体而言，我们表明我们的方法提升了联邦训练的收敛速度，并为外部客户端给出了更低的泛化误差界。此外，我们利用因果推理形成因果视角来解释我们框架的优势。最后，我们在自然图像与医学图像上进行了大量实验来评估我们的方法，其中我们的方法取得了最先进的性能、更快的收敛，并展现出良好的兼容性。我们还在真实世界医学数据集上进行了全面分析研究以证明有效性。
引用
@article{arxiv.2110.09974,
title = {UniFed: A Unified Framework for Federated Learning on Non-IID Image Features},
author = {Meirui Jiang and Xiaoxiao Li and Xiaofei Zhang and Michael Kamp and Qi Dou},
journal= {arXiv preprint arXiv:2110.09974},
year = {2023}
}