SparsyFed：稀疏自适应联邦训练
机器学习
2025-04-08 v1
摘要
稀疏训练常用于跨设备联邦学习（FL）环境中，在此环境下，受限设备通过在私有数据上协作训练模型，同时在异构网络上交换伪梯度。尽管稀疏训练方法可减少通信开销和计算负担，但在FL中实际应用时仍受限于以下关键因素：(1)数据异构性使客户端难以就稀疏模型达成共识，需更长的训练时间；(2)获取稀疏掩码的方法缺乏对适应极度异构数据分布的自适应性，这在跨设备FL中至关重要；(3)需要额外的超参数，此类超参数在FL环境中调参尤为困难。本文提出SparsyFed，一种实际可行的联邦稀疏训练方法，关键性地解决了上述问题。以往工作要么只解决一个或两个问题，却以牺牲新权衡为代价，如客户端对掩码的共识与稀疏模式自适应性之间的平衡。我们展示，SparsyFed同时能够：(1)生成95%稀疏度的模型，准确率几乎不受影响，仅需一个超参数；(2)每轮权重重生速度比以往方法快200倍；(3)允许稀疏掩码适应高度异构的数据分布，在此类条件下超越所有基线方法。
引用
@article{arxiv.2504.05153,
title = {SparsyFed: Sparse Adaptive Federated Training},
author = {Adriano Guastella and Lorenzo Sani and Alex Iacob and Alessio Mora and Paolo Bellavista and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2504.05153},
year = {2025}
}
备注
Published as a conference paper at ICLR 2025