FEDIC：基于校准蒸馏的非独立同分布与长尾联邦学习
机器学习
2022-05-03 v1
摘要
联邦学习为在具有不同种类数据的分布式客户端上生成良好的深度学习模型提供了隐私保障。然而，处理非独立同分布（non-IID）数据是联邦学习最具挑战性的问题之一。研究者已提出多种方法来消除非独立同分布性的负面影响。但他们仅关注类总体分布均衡前提下的非独立同分布数据。在许多现实应用中，总体类分布呈长尾状，导致模型严重偏置。因此，本文研究联邦学习中非独立同分布与长尾数据的联合问题，并提出一种相应解法，称为具有不平衡校准的联邦集成蒸馏（FEDIC）。为处理非独立同分布数据，FEDIC 利用模型集成以发挥在非独立同分布数据上训练所得模型的多样性。随后，提出一种带对数调整与校准门控网络的新蒸馏方法以有效解决长尾问题。我们在高度非独立同分布实验设置下，于 CIFAR-10-LT、CIFAR-100-LT 和 ImageNet-LT 上评估 FEDIC，并与最先进的联邦学习与长尾学习方法比较。我们的代码见 https://github.com/shangxinyi/FEDIC。
引用
@article{arxiv.2205.00172,
title = {FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation},
author = {Xinyi Shang and Yang Lu and Yiu-ming Cheung and Hanzi Wang},
journal= {arXiv preprint arXiv:2205.00172},
year = {2022}
}
备注
Accepted by ICME 2022, camera-ready version