FedRolex：基于滚动子模型提取的模型异构联邦学习
机器学习
2023-01-24 v2 密码学与安全
计算机视觉与模式识别
分布式、并行与集群计算
摘要
大多数跨设备联邦学习（FL）研究聚焦于全局服务器模型与本地客户端模型相同的模型同构设定。然而，此类约束不仅排除了本可对模型训练做出独特贡献的低端客户端，也因设备端资源瓶颈限制了客户端训练大型模型。本文中，我们提出 FedRolex，一种基于部分训练（PT）的方法，可实现模型异构 FL，并能训练比最大客户端模型更大的全局服务器模型。其核心在于，FedRolex 采用滚动子模型提取方案，使全局服务器模型的不同部分得到均衡训练，从而缓解由个体客户端模型与服务器模型架构不一致引发的客户端漂移。我们表明，FedRolex 优于最先进的基于 PT 的模型异构 FL 方法（如 Federated Dropout），并缩小了模型异构与模型同构 FL 之间的差距，尤其在大型模型大数据集情形下。此外，我们提供了对其优于 Federated Dropout 的理论统计分析，并在模拟的真实世界设备分布上评估 FedRolex，表明其可增强 FL 的包容性并提升原本无法从 FL 受益的低端设备性能。我们的代码见：https://github.com/AIoT-MLSys-Lab/FedRolex
引用
@article{arxiv.2212.01548,
title = {FedRolex: Model-Heterogeneous Federated Learning with Rolling Sub-Model Extraction},
author = {Samiul Alam and Luyang Liu and Ming Yan and Mi Zhang},
journal= {arXiv preprint arXiv:2212.01548},
year = {2023}
}
备注
20 pages, 7 Figures, Published in 36th Conference on Neural Information Processing And Systems