提升非独立同分布设置下联邦学习的准确率
机器学习
2020-10-30 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）是一种去中心化的机器学习协议，允许一组参与代理在不共享其数据的情况下协作训练模型。这使得FL特别适用于需要数据隐私的场景。然而，已观察到FL的性能与代理的本地数据分布密切相关。特别是在代理间本地数据分布差异巨大的场景下，相对于集中式训练，FL的表现相当差。为解决此问题，我们假设了性能下降背后的原因，并开发了相应的技术来解决这些原因。在这项工作中，我们确定了四种简单技术，可在不增加FL任何额外通信开销的情况下提升训练模型的性能，而只会在客户端或服务器端产生一些轻量计算开销。在我们的实验分析中，我们技术的组合将经由FL训练的模型的验证准确率相较基线提升了超过12%。这比在集中式数据上训练的模型准确率约低5%。
引用
@article{arxiv.2010.15582,
title = {Improving Accuracy of Federated Learning in Non-IID Settings},
author = {Mustafa Safa Ozdayi and Murat Kantarcioglu and Rishabh Iyer},
journal= {arXiv preprint arXiv:2010.15582},
year = {2020}
}