非独立同分布数据上的个性化跨孤岛联邦学习
机器学习
2021-12-15 v5 分布式、并行与集群计算
机器学习
摘要
非独立同分布（Non-IID）数据对联邦学习提出了严峻挑战。在本文中，我们探索了一种促进具有相似数据的客户端之间成对协作的新思路。我们提出了FedAMP，一种采用联邦注意力消息传递以促进相似客户端更多协作的新方法。我们建立了FedAMP在凸和非凸模型上的收敛性，并提出了一种启发式方法，以在客户端采用深度神经网络作为个性化模型时进一步提升FedAMP的性能。我们在基准数据集上的大量实验证明了所提方法的优越性能。
引用
@article{arxiv.2007.03797,
title = {Personalized Cross-Silo Federated Learning on Non-IID Data},
author = {Yutao Huang and Lingyang Chu and Zirui Zhou and Lanjun Wang and Jiangchuan Liu and Jian Pei and Yong Zhang},
journal= {arXiv preprint arXiv:2007.03797},
year = {2021}
}
备注
Accepted by AAAI 2021. The API of this work is available at Huawei Cloud (https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=6d4a9521-6a4d-4b6d-b84d-943d7c7b1cbd), free registration is required before use