FedCompass：基于算力感知调度器的异构客户端高效跨机构联邦学习
机器学习
2024-03-12 v2 分布式、并行与集群计算
摘要
跨机构联邦学习提供了一种有前景的解决方案，可在不损害本地数据集隐私的情况下协作训练鲁棒且泛化的 AI 模型，例如医疗、金融以及缺乏集中式数据设施的科学项目。然而，由于不同客户端之间计算资源的差异（即设备异构性），同步联邦学习算法在等待掉队客户端时效率下降。类似地，异步联邦学习算法由于过时的本地模型和客户端漂移，在非独立同分布（non-IID）异构数据集上收敛速度和最终模型精度均出现退化。为解决跨机构联邦学习在异构客户端与数据方面的这些局限，我们提出 FedCompass，一种创新的半异步联邦学习算法，其在服务端配备算力感知调度器，利用各客户端计算力的知识自适应地为不同客户端分配不同数量的训练任务。FedCompass 确保来自客户端的多个本地训练模型几乎同时作为一组被接收以进行聚合，有效降低了本地模型的过时性。同时，整体训练过程保持异步，消除了来自掉队客户端的长时间等待。使用多种 non-IID 异构分布式数据集，我们证明 FedCompass 在异构客户端上执行联邦学习时，比其他异步算法收敛更快、精度更高，同时比同步算法更高效。FedCompass 的源代码可在 https://github.com/APPFL/FedCompass 获取。
引用
@article{arxiv.2309.14675,
title = {FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler},
author = {Zilinghan Li and Pranshu Chaturvedi and Shilan He and Han Chen and Gagandeep Singh and Volodymyr Kindratenko and E. A. Huerta and Kibaek Kim and Ravi Madduri},
journal= {arXiv preprint arXiv:2309.14675},
year = {2024}
}
备注
Accepted as poster at The Twelfth International Conference on Learning Representations (ICLR 2024)