不落下任何人：面向异构设备的包容性联邦学习
机器学习
2022-07-19 v2 分布式、并行与集群计算
摘要
联邦学习（FL）是一种以隐私保护方式从分散数据训练全局模型的重要范式。现有 FL 方法通常假设全局模型可在任意参与客户端上训练。然而在真实应用中，客户端设备通常异构且算力不同。尽管 BERT 等大模型已在人工智能中取得巨大成功，却难以将其应用于含弱客户端的异构 FL。直接方案如剔除弱客户端或使用小模型适配所有客户端，会导致诸多问题，例如被丢弃客户端代表性不足，以及因数据丢失或模型表达能力受限而精度下降。本文提出 InclusiveFL，一种客户端包容的联邦学习方法以应对该问题。InclusiveFL 的核心思想是为不同算力客户端分配不同规模模型：强客户端用更大模型，弱客户端用更小模型。我们还提出一种在多种不同规模本地模型间共享知识的有效方法。由此，所有客户端均可参与 FL 中的模型学习，且最终模型可足够大且强。此外，我们提出动量知识蒸馏方法，以更好地将强客户端大模型中的知识迁移至弱客户端小模型。在多个真实基准数据集上的大量实验证明了该方法在 FL 框架下从异构设备客户端学习准确模型的有效性。
引用
@article{arxiv.2202.08036,
title = {No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices},
author = {Ruixuan Liu and Fangzhao Wu and Chuhan Wu and Yanlin Wang and Lingjuan Lyu and Hong Chen and Xing Xie},
journal= {arXiv preprint arXiv:2202.08036},
year = {2022}
}
备注
Accepted by KDD22