subMFL: 面向设备异构环境中联邦学习的兼容子模型生成
机器学习
2024-05-31 v1
摘要
联邦学习(FL)常用于具有分布式和异构设备的系统，这些设备可访问不同数量的数据以及不同的计算和存储能力。FL训练过程使这些设备能够使用本地数据在本地更新共享模型的权重，然后由可信的中心服务器组合所有模型以生成全局模型。这样，在数据保留在设备本地以保护隐私的同时，生成了全局模型。然而，在资源受限的设备上训练深度神经网络(DNN)等大型模型可能需要极长的时间并消耗大量能量。在当前过程中，低容量设备被排除在训练过程之外，尽管它们可能拥有未见过的数据。为了克服这一挑战，我们提出了一种模型压缩方法，使具有不同计算能力的异构设备能够参与FL过程。在我们的方法中，服务器向所有设备共享一个密集模型进行训练：之后，逐步压缩训练好的模型，以获得具有不同稀疏程度的子模型，作为适合资源受限设备的初始全局模型，这些设备之前无法训练第一个密集模型。这导致资源受限设备的参与率提高，同时保留了前一轮训练中转移的权重。我们的验证实验表明，尽管达到约50%的全局稀疏度，生成的子模型仍能保持其准确性，同时可以共享以提高约50%的参与率。
引用
@article{arxiv.2405.20014,
title = {subMFL: Compatiple subModel Generation for Federated Learning in Device Heterogenous Environment},
author = {Zeyneddin Oz and Ceylan Soygul Oz and Abdollah Malekjafarian and Nima Afraz and Fatemeh Golpayegani},
journal= {arXiv preprint arXiv:2405.20014},
year = {2024}
}
备注
12 pages, 7 figures, European Conference on Parallel Processing, pp. between 52 and 64, Springer, 2023