互补稀疏化：面向联邦学习的低开销模型剪枝
机器学习
2023-03-28 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）是一种保护隐私的分布式深度学习范式，涉及大量的通信与计算开销，这对资源受限的移动与物联网设备而言是个问题。模型剪枝/稀疏化可开发稀疏模型以解决该问题，但现有稀疏化方案无法在以下 FL 假设下同时满足低双向通信开销、客户端低计算开销与良好模型精度的要求：服务器无法访问原始数据以微调剪枝模型。我们提出互补稀疏化（CS），一种通过在服务器与客户端进行互补协作剪枝来满足所有这些要求的剪枝机制。在每轮中，CS 创建一个包含捕获所有客户端总体数据分布的权重的全局稀疏模型，而客户端利用从全局模型剪枝掉的权重创建局部稀疏模型以捕获本地趋势。为提升模型性能，这两类互补稀疏模型在每轮中被聚合为一个稠密模型，随后以迭代过程再次剪枝。CS 在普通 FL 之上仅为服务器与客户端带来极少的计算开销。我们证明 CS 是普通 FL 的近似，因此其模型表现良好。我们使用两个流行 FL 基准数据集对 CS 进行实验评估。CS 在双向通信上实现大幅削减，同时取得与普通 FL 相当的performance。此外，CS 优于 FL 的基线剪枝机制。
引用
@article{arxiv.2303.06237,
title = {Complement Sparsification: Low-Overhead Model Pruning for Federated Learning},
author = {Xiaopeng Jiang and Cristian Borcea},
journal= {arXiv preprint arXiv:2303.06237},
year = {2023}
}