Equitable-FL：面向资源受限环境的稀疏联邦学习
机器学习
2023-09-06 v1 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
摘要
在联邦学习（Federated Learning）中，模型训练在多个计算设备上进行，仅与公共中心服务器共享参数而不交换数据样本。该策略假设各客户端资源充裕，并利用这些资源构建更丰富的用户模型。然而，当资源充裕的假设不成立时，由于某些节点可能无法参与过程，学习可能无法进行。本文提出一种稀疏形式的联邦学习，可在资源受限环境中表现良好。我们的目标是不论节点在空间、计算或带宽上的稀缺性，使学习成为可能。该方法基于如下观察：模型规模相对于可用资源定义了资源稀缺性，这意味着在资源受限环境中模型训练的关键在于在不影响精度的前提下减少参数数量。本工作利用彩票假设（Lottery Ticket Hypothesis）方法逐步稀疏化模型，以鼓励资源稀缺的节点参与协作训练。我们在 、 和 基准数据集以及 数据和 数据集上验证了 Equitable-FL。此外，我们考察了稀疏性对性能、模型尺寸压缩和训练加速的影响。针对卷积神经网络训练所开展的实验结果表明，Equitable-FL 在异构资源受限学习环境中有效。
引用
@article{arxiv.2309.00864,
title = {Equitable-FL: Federated Learning with Sparsity for Resource-Constrained Environment},
author = {Indrajeet Kumar Sinha and Shekhar Verma and Krishna Pratap Singh},
journal= {arXiv preprint arXiv:2309.00864},
year = {2023}
}
备注
12 pages, 7 figures