DeceFL:一种原则性的去中心化联邦学习框架
机器学习
2021-11-02 v2 分布式、并行与集群计算
系统与控制
系统与控制
摘要
传统机器学习依赖集中式数据流水线,即数据被提供给中央服务器进行模型训练。然而,在许多应用中,数据天然是分散的。这些数据库的分散性带来了协作的最大挑战:将所有分散的数据集发送到中央服务器会引发严重的隐私问题。尽管学界已通过提出隐私保护机器学习框架(如联邦学习)共同应对这一关键问题,但大多数最先进的框架仍以集中式方式构建,其中需要一个中央客户端来收集并分发来自其他每个客户端的模型信息(而非数据本身),导致当中央客户端发生故障或遭受攻击时产生高通信压力和高脆弱性。在此,我们提出一种原则性的去中心化联邦学习算法(DeceFL),它不需要中央客户端,仅依赖客户端与其邻居之间的本地信息传输,代表一种完全去中心化的学习框架。我们进一步证明,当损失函数光滑且强凸时,每个客户端以零性能差距达到全局最小值,并取得与集中式联邦学习相同的收敛速率 (其中 为梯度下降的迭代次数)。最后,所提算法已应用于若干场景以说明其对凸和非凸损失函数的有效性,展示了其在广泛现实医疗与工业应用中的适用性。
引用
@article{arxiv.2107.07171,
title = {DeceFL: A Principled Decentralized Federated Learning Framework},
author = {Ye Yuan and Jun Liu and Dou Jin and Zuogong Yue and Ruijuan Chen and Maolin Wang and Chuan Sun and Lei Xu and Feng Hua and Xin He and Xinlei Yi and Tao Yang and Hai-Tao Zhang and Shaochun Sui and Han Ding},
journal= {arXiv preprint arXiv:2107.07171},
year = {2021}
}