基于匹配平均的联邦学习
机器学习
2020-02-18 v1 机器学习
摘要
联邦学习允许边缘设备协作学习共享模型，同时将训练数据保留在设备上，从而将模型训练能力与被要求在云端存储数据的需求解耦。我们提出面向现代神经网络架构（例如卷积神经网络（CNNs）与LSTMs）联邦学习的联邦匹配平均（FedMA）算法。FedMA通过以逐层方式匹配并平均具有相似特征提取签名的隐藏单元（即卷积层的通道、LSTM的隐藏状态、全连接层的神经元）来构建共享全局模型。我们的实验表明，FedMA不仅在真实世界数据集上训练的深度CNN与LSTM架构中优于流行的SOTA联邦学习算法，还降低了总体通信负担。
引用
@article{arxiv.2002.06440,
title = {Federated Learning with Matched Averaging},
author = {Hongyi Wang and Mikhail Yurochkin and Yuekai Sun and Dimitris Papailiopoulos and Yasaman Khazaeni},
journal= {arXiv preprint arXiv:2002.06440},
year = {2020}
}
备注
Accepted by ICLR 2020