SPATL：面向联邦学习中异构客户端的显著参数聚合与迁移学习
机器学习
2022-08-29 v2
摘要
联邦学习（FL）便于在边缘设备上训练和部署 AI 模型。在 FL 中保护用户数据隐私带来了若干挑战，包括高昂的通信成本、资源受限和数据异构。本文提出 SPATL，一种通过以下方式解决这些问题的 FL 方法：（a）引入显著参数选择代理，仅通信被选中的参数；（b）将模型拆分为共享编码器和本地预测器，并通过本地定制的预测器将知识迁移至异构客户端。此外，我们利用梯度控制机制进一步加速模型收敛并提升训练过程的鲁棒性。实验表明，与最先进方法相比，SPATL 降低了通信开销、加速了模型推理，并实现更优且稳定的训练过程。我们的方法在 VGG-11 上减少高达 的通信成本，通过减少最多 的 FLOPs 加速本地推理，并在训练 ResNet-20 时减少 的通信开销。
引用
@article{arxiv.2111.14345,
title = {SPATL: Salient Parameter Aggregation and Transfer Learning for Heterogeneous Clients in Federated Learning},
author = {Sixing Yu and Phuong Nguyen and Waqwoya Abebe and Wei Qian and Ali Anwar and Ali Jannesari},
journal= {arXiv preprint arXiv:2111.14345},
year = {2022}
}
备注
Accepted at The International Conference for High Performance Computing, Networking, Storage, and Analysis (SC 22)