ZeroFL：基于局部稀疏性的联邦学习高效设备端训练
机器学习
2022-08-05 v1 分布式、并行与集群计算
摘要
当可用硬件无法满足高效训练高性能机器学习模型的内存与计算需求时，就需要在训练质量或模型复杂度上做出妥协。在联邦学习（FL）中，节点的受限程度比传统服务器级硬件高出数个数量级，且常由电池供电，严重限制了该范式下可训练模型的复杂程度。尽管大多数研究集中于设计更好的聚合策略以改善收敛速度并缓解 FL 的通信开销，但致力于加速设备端训练的努力较少。这一阶段重复数百次（即每轮），并可能涉及数千台设备，占据了训练联邦模型所需的大部分时间，以及客户端侧的全体能耗。在本工作中，我们首次研究了在 FL 工作负载的训练时引入稀疏性所出现的独特问题。随后我们提出 ZeroFL，一个依赖高度稀疏操作来加速设备端训练的框架。以 95% 稀疏度用 ZeroFL 训练的模型，相比将最先进稀疏训练框架适配到 FL 设定所得的竞争性基线，准确率最高高出 2.3%。
引用
@article{arxiv.2208.02507,
title = {ZeroFL: Efficient On-Device Training for Federated Learning with Local Sparsity},
author = {Xinchi Qiu and Javier Fernandez-Marques and Pedro PB Gusmao and Yan Gao and Titouan Parcollet and Nicholas Donald Lane},
journal= {arXiv preprint arXiv:2208.02507},
year = {2022}
}
备注
Published as a conference paper at ICLR 2022