FedHe：异构模型与通信高效的联邦学习
机器学习
2022-07-07 v1 分布式、并行与集群计算
摘要
联邦学习（FL）能够管理边缘设备协作训练模型，同时保持训练数据本地化与隐私性。FL 中的一个常见假设是所有边缘设备共享相同的机器学习训练模型，例如相同的神经网络架构。然而，不同设备的计算与存储能力可能并不相同。此外，降低通信开销可提升训练效率，但这在 FL 中仍是一个具有挑战性的问题。本文受知识蒸馏启发，提出一种新颖的 FL 方法 FedHe，其能够训练异构模型并支持异步训练过程，且显著减少通信开销。我们的分析与实验结果表明，所提方法在通信开销与模型精度方面优于当前最先进（SOTA）算法。
引用
@article{arxiv.2110.09910,
title = {FedHe: Heterogeneous Models and Communication-Efficient Federated Learning},
author = {Chan Yun Hin and Ngai Edith},
journal= {arXiv preprint arXiv:2110.09910},
year = {2022}
}