彩票感知稀疏搜寻:赋能资源受限边缘设备上的联邦学习
机器学习
2023-10-26 v3
摘要
边缘设备因其分布式特性可从联邦学习中显著受益;然而,其有限的资源与计算能力对部署造成了限制。一种可能的解决方案是在客户端使用现成的稀疏学习算法以满足其资源预算。然而,在客户端中此类朴素部署会导致显著的精度下降,尤其是对于高度资源受限的客户端。特别地,我们的调研揭示,客户端间稀疏掩码的缺乏共识可能潜在地拖慢全局模型的收敛并引起大幅精度跌落。基于这些观察,我们提出\textit{federated lottery aware sparsity hunting}(FLASH,联邦彩票感知稀疏搜寻),一种统一的稀疏学习框架,用于训练稀疏子模型,其在超低参数密度下保持性能的同时带来成比例的通信收益。此外,鉴于不同客户端可能拥有不同资源预算,我们提出\textit{hetero-FLASH},客户端可依据其设备资源限制采取不同密度预算,而非仅支持单一目标参数密度。在多样模型与数据集上的实验分析显示了FLASH在缩小与未剪枝基线差距方面的优越性,同时在类似超参数设置下,相较现有替代方案,以约 更少的通信取得高达 的精度提升。代码见 \url{https://github.com/SaraBabakN/flash_fl}。
引用
@article{arxiv.2208.13092,
title = {Lottery Aware Sparsity Hunting: Enabling Federated Learning on Resource-Limited Edge},
author = {Sara Babakniya and Souvik Kundu and Saurav Prakash and Yue Niu and Salman Avestimehr},
journal= {arXiv preprint arXiv:2208.13092},
year = {2023}
}
备注
Accepted in TMLR, https://openreview.net/forum?id=iHyhdpsnyi