ModularFed:在联邦学习框架中利用模块化
分布式、并行与集群计算
2022-12-21 v1 机器学习
摘要
最近的大量研究提出集成联邦学习(FL),以解决在隐私敏感型企业中使用机器学习的隐私问题。然而,现有框架的标准已无法支撑其快速发展,并阻碍了 FL 解决方案的整合,而这在推动该领域发展方面可能至关重要。在本文中,我们提出了 ModularFed,这是一个以研究为中心的框架,旨在解决 FL 实现的复杂性以及现有框架中缺乏适应性和可扩展性的问题。我们提供了一个全面的架构,通过定义明确的协议来协助 FL 方法,以涵盖三种主流的 FL 范式:可适应的工作流、数据集分布和第三方应用支持。在此架构中,协议是严格定义框架组件设计的蓝图,有助于提升其灵活性并强化其基础设施。此外,我们的协议旨在实现 FL 中的模块化,支持第三方即插即用架构以及与该领域主要内置数据分发器相耦合的动态模拟器。此外,该框架支持在单一环境中封装多种方法,以实现对 FL 问题的连续复现,如客户端缺陷、数据分布和网络延迟,从而实现对突出 FL 技术的各种方法的公平比较。在我们的评估中,我们检验了该框架在解决三个主要 FL 领域方面的适用性,包括统计分布以及用于资源监控和客户端选择的基于模块化的方法。
引用
@article{arxiv.2212.10427,
title = {ModularFed: Leveraging Modularity in Federated Learning Frameworks},
author = {Mohamad Arafeh and Hadi Otrok and Hakima Ould-Slimane and Azzam Mourad and Chamseddine Talhi and Ernesto Damiani},
journal= {arXiv preprint arXiv:2212.10427},
year = {2022}
}