利用基础模型增强联邦学习中的轻量级客户端
机器学习
2023-11-16 v1 计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习(FL)是一种分布式训练范式，使分布于世界各地的客户端能够协作学习全局模型而不泄露机密数据。然而，FL 面临客户端间数据分布异构这一重大挑战，导致性能与鲁棒性下降。近期一种缓解异构数据分布影响的方法是通过使用基础模型，其以更大的计算开销与更慢的推理速度为代价提供更好性能。我们引入基础模型蒸馏，以辅助轻量级客户端模型的联邦训练，并在异构数据设定下提升其性能，同时保持较低的推理成本。我们的结果显示，即便在极端的非 IID 客户端数据分布下，在包含罕见样本的平衡测试集上全局模型性能也有所提升。我们使用不同基础模型骨干在 CIFAR10 上对我们的框架进行了 thorough 评估，涵盖从客户端间类特定数据划分到狄利克雷数据采样的不同异构程度，由 0.01 至 1.0 间的参数控制。
引用
@article{arxiv.2311.08479,
title = {Leveraging Foundation Models to Improve Lightweight Clients in Federated Learning},
author = {Xidong Wu and Wan-Yi Lin and Devin Willmott and Filipe Condessa and Yufei Huang and Zhenzhen Li and Madan Ravi Ganesh},
journal= {arXiv preprint arXiv:2311.08479},
year = {2023}
}
备注
6 Pages + Appendices