FedCor：基于相关性的异构联邦学习主动客户端选择策略
机器学习
2022-03-25 v3 分布式、并行与集群计算
摘要
客户端间数据异构性是阻碍联邦学习（FL）有效训练的主要问题之一。由于每个客户端上的数据分布可能差异显著，客户端选择策略会极大影响 FL 过程的收敛速率。近期研究广泛提出主动客户端选择策略。然而，它们忽略了客户端之间的损失相关性，相较均匀选择策略仅取得微小改进。本工作中，我们提出 FedCor——一种构建于基于相关性的客户端选择策略之上的 FL 框架，以提升 FL 的收敛速率。具体而言，我们首先用高斯过程（GP）对客户端间的损失相关性建模。基于该 GP 模型，我们推导出每轮期望全局损失显著减少的客户端选择策略。此外，我们利用协方差平稳性开发了在 FL 场景下通信开销低的高效 GP 训练方法。实验结果表明，相较最先进方法，FedCor 在 FMNIST 和 CIFAR-10 上分别将收敛速率提升了 和 。
引用
@article{arxiv.2103.13822,
title = {FedCor: Correlation-Based Active Client Selection Strategy for Heterogeneous Federated Learning},
author = {Minxue Tang and Xuefei Ning and Yitu Wang and Jingwei Sun and Yu Wang and Hai Li and Yiran Chen},
journal= {arXiv preprint arXiv:2103.13822},
year = {2022}
}
备注
Accepted by CVPR 2022