基于符号投票的联邦两阶段学习
分布式、并行与集群计算
2021-12-13 v1 机器学习
摘要
联邦学习是一种分布式机器学习机制，本地设备在中央服务器的协调下协作训练共享的全局模型，同时所有私有数据保持去中心化。在该系统中，传输的是模型参数及其更新而非原始数据，因此通信瓶颈已成为一个关键挑战。此外，近期更大更深的机器学习模型也给其在联邦环境中的部署带来了更多困难。本文设计了一个联邦两阶段学习框架，在设备上以截断层增强典型联邦学习，并在模型更新上使用基于符号的随机梯度下降与多数投票方法。设备上的截断层在本地学习原始信息的表征，这有助于减少全局模型参数并防止数据泄露。基于符号的 SGD 配合多数投票方法进行模型更新也有助于缓解通信限制。通过实验，我们表明我们的系统是一种高效且保护隐私的联邦学习方案，适用于通用应用场景。
引用
@article{arxiv.2112.05687,
title = {Federated Two-stage Learning with Sign-based Voting},
author = {Zichen Ma and Zihan Lu and Yu Lu and Wenye Li and Jinfeng Yi and Shuguang Cui},
journal= {arXiv preprint arXiv:2112.05687},
year = {2021}
}
备注
Preprint, the first version is accomplished in 02/2020