加速异构环境中的联邦学习：一种动态分层方法
机器学习
2023-12-12 v1 人工智能
多智能体系统
性能
摘要
联邦学习（Federated Learning, FL）能够在保持训练数据去中心化和私密性的同时协作训练模型。然而，使用 FL 训练模型（尤其是大模型）的一个显著障碍是设备的资源限制，这些设备具有异构的计算和通信能力以及不同的任务规模。这种异构性会导致客户端训练时间出现显著差异，从而延长整体训练时间并造成较快客户端的资源浪费。为了解决这些异构性问题，我们提出了基于动态分层的联邦学习（Dynamic Tiering-based Federated Learning, DTFL）系统，其中较慢的客户端动态地将部分模型卸载到服务器，以缓解资源限制并加速训练。通过利用分割学习的概念，DTFL 将全局模型的不同部分卸载给不同层的客户端，并使每个客户端能够通过基于局部损失的训练并行更新模型。这有助于减少资源受限设备的计算和通信需求，从而缓解落后者问题。DTFL 引入了一个动态分层调度器，该调度器使用分层分析来估计每个客户端的预期训练时间，其依据是它们的历史训练时间、通信速度和数据集大小。动态分层调度器将客户端分配到合适的层，以最小化每轮的整体训练时间。我们首先从理论上证明了 DTFL 的收敛性质。然后，我们在 IID 和 non-IID 系统下，在流行的图像数据集（CIFAR-10、CIFAR-100、CINIC-10 和 HAM10000）上训练了大模型（ResNet-56 和 ResNet-110）。大量实验结果表明，与最先进的 FL 方法相比，DTFL 能够在保持模型准确率的同时显著减少训练时间。
引用
@article{arxiv.2312.05642,
title = {Speed Up Federated Learning in Heterogeneous Environment: A Dynamic Tiering Approach},
author = {Seyed Mahmoud Sajjadi Mohammadabadi and Syed Zawad and Feng Yan and Lei Yang},
journal= {arXiv preprint arXiv:2312.05642},
year = {2023}
}