SalientGrads：面向通信高效与数据感知的分布式联邦训练的稀疏模型
机器学习
2023-04-18 v1
摘要
联邦学习（FL）能够在保护隐私（不收集数据）的前提下，利用客户端站点上的去中心化数据训练模型。然而，FL 的重大挑战之一是资源受限的边缘客户端节点计算能力有限且通信带宽低。为此，近期提出了若干解决方案，包括传输稀疏模型、迭代学习动态掩码等。但其中许多方法基于临时或随机剪枝准则，需要在整个训练过程中传输模型权重。本文提出 Salient Grads，其通过在训练前基于模型参数的显著性得分（由本地客户端数据计算）选择数据感知子网络，简化了稀疏训练过程。此外，与大多数依赖每轮共享完整稠密模型的方法不同，在训练过程中服务器与客户端模型之间仅传输高度稀疏的梯度。我们还在真实世界的联邦学习应用中展示了方法的有效性，并报告了挂钟通信时间的改善。
引用
@article{arxiv.2304.07488,
title = {SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training},
author = {Riyasat Ohib and Bishal Thapaliya and Pratyush Gaggenapalli and Jingyu Liu and Vince Calhoun and Sergey Plis},
journal= {arXiv preprint arXiv:2304.07488},
year = {2023}
}
备注
Published at ICLR Sparsity in Neural Networks (SNN) workshop, 2023