面向通信高效联邦学习系统中降维的掩码剪枝方法
机器学习
2023-12-08 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习（Federated Learning, FL）代表了一种日益增长的机器学习范式，旨在跨多个保留本地数据集的节点训练模型，而无需与参数服务器直接交换底层私有数据。其日益普及归因于在隐私方面训练深度神经网络模型以及高效利用通信资源的显著优势。遗憾的是，在复杂任务中，DNN 承受着高昂的计算和通信成本以及内存消耗。这些因素限制了 FL 算法在硬件资源有限且通信受限系统中的适用性。在本文中，我们开发了一种新算法，通过将基于剪枝的方法与 FL 过程协同结合来克服这些限制，从而以最小的通信成本生成模型的低维表示，该方法被称为联邦学习上的掩码剪枝。该算法首先通过 PS 向节点分发权重。随后，每个节点在本地训练其模型并计算剪枝掩码。然后将这些低维掩码传回 PS，由 PS 生成共识剪枝掩码并广播回节点。这一迭代过程增强了掩码剪枝模型的鲁棒性和稳定性。生成的掩码用于训练 FL 模型，实现了显著的带宽节省。我们进行了广泛的实验研究，证明了 MPFL 相比现有方法的优越性能。此外，我们还开发了一个开源软件包，以造福相关领域的研究人员和开发者。
引用
@article{arxiv.2312.03889,
title = {A Masked Pruning Approach for Dimensionality Reduction in Communication-Efficient Federated Learning Systems},
author = {Tamir L. S. Gez and Kobi Cohen},
journal= {arXiv preprint arXiv:2312.03889},
year = {2023}
}
备注
12 pages, 9 figures