联邦学习与经典机器学习的收敛性比较
机器学习
2021-07-26 v1 分布式、并行与集群计算
摘要
在过去几十年中，机器学习彻底改变了大规模应用的数据处理。与此同时，新兴应用中日益增加的隐私威胁促使人们重新设计经典的数据训练模型。特别地，经典机器学习涉及集中式数据训练，即数据被集中收集，且整个训练过程在中央服务器上执行。尽管具有显著的收敛性，但当参与者数据与中央云服务器共享时，这种训练会带来若干隐私威胁。为此，联邦学习在分布式数据训练中获得了重要地位。特别地，联邦学习允许参与者在本地数据上协作训练本地模型，而无需向中央云服务器透露其敏感信息。在本文中，我们在两个公开可用的数据集上对经典机器学习和联邦学习进行了收敛性比较，即 logistic-regression-MNIST 数据集和 image-classification-CIFAR-10 数据集。仿真结果表明，联邦学习在有限的通信轮次内实现了更高的收敛性，同时保持了参与者的匿名性。我们希望本研究能展示其优势，并有助于联邦学习得到广泛应用。
引用
@article{arxiv.2107.10976,
title = {Federated Learning Versus Classical Machine Learning: A Convergence Comparison},
author = {Muhammad Asad and Ahmed Moustafa and Takayuki Ito},
journal= {arXiv preprint arXiv:2107.10976},
year = {2021}
}