面向异构模型的分层边缘网络联邦学习即服务
分布式、并行与集群计算
2024-10-15 v2
摘要
联邦学习 (FL) 是一种分布式机器学习框架，能够在无需共享用户原始数据的情况下，通过聚合各客户端本地训练的模型来训练新的全局模型。联邦学习即服务 (FLaaS) 为在各种计算资源的设备上训练机器学习模型提供了一种隐私保护的方法。大多数已有的基于 FL 的方法在所有客户端设备上训练相同的模型，而不考虑其计算资源。然而，在实际的物联网 (IoT) 场景中，计算资源有限的 IoT 设备可能无法训练计算资源更丰富的客户端设备所托管的模型。大多数旨在解决异构模型聚合问题的现有 FL 框架都是为独立同分布 (IID) 数据设计的，这在遇到非 IID 场景时可能难以达到目标算法性能。为了解决分层网络中的这些问题，本文我们提出了一种面向分层边缘系统的异构模型聚合框架 HAF-Edge。在所提出的框架中，我们引入了一种面向具有两级模型聚合（分别在边缘层和云层运行）的 FL 系统的通信高效模型聚合方法。该方法通过在异构模型聚合过程中利用选择性知识迁移来提升全局模型的收敛速度。据我们所知，本工作是首次解决跨越 IoT、边缘和云环境的分层 FL 系统中异构模型聚合问题。我们进行了大量实验来验证所提方法的性能。评估结果表明 HAF-Edge 显著优于现有方法。
引用
@article{arxiv.2407.20573,
title = {Federated Learning as a Service for Hierarchical Edge Networks with Heterogeneous Models},
author = {Wentao Gao and Omid Tavallaie and Shuaijun Chen and Albert Zomaya},
journal= {arXiv preprint arXiv:2407.20573},
year = {2024}
}