基于二值神经网络的通信高效联邦学习
机器学习
2021-10-07 v1
摘要
联邦学习（FL）是一种保护隐私的机器学习框架，使众多设备能够联合训练共享的全局模型，而无需向中心服务器暴露各自数据。然而，FL涉及所有客户端与协调训练的服务器之间频繁的参数交换。这带来了巨大的通信开销，在通信链路受限的FL中可能成为主要瓶颈。本文考虑在FL设定下训练二值神经网络（BNN），而非典型的实值神经网络，以满足无线边缘网络中严格的延迟与效率要求。我们提出了一种训练BNN的新型FL框架，其中客户端仅向服务器上传二值参数。我们还提出了一种基于最大似然（ML）估计的新型参数更新方案，即使在没有通常训练BNN所需的聚合实值辅助参数可用时，也能保持BNN的性能。此外，我们在文献中首次从理论推导了BNN训练收敛的条件。数值结果表明，与具有典型实值参数的常规神经网络相比，所提出的FL框架显著降低了通信成本，且二值化导致的性能损失可通过混合方法进一步补偿。
引用
@article{arxiv.2110.02226,
title = {Communication-Efficient Federated Learning with Binary Neural Networks},
author = {Yuzhi Yang and Zhaoyang Zhang and Qianqian Yang},
journal= {arXiv preprint arXiv:2110.02226},
year = {2021}
}
备注
Accepted for publication in IEEE Journal on Selected Areas in Communications