CyclicFL：一种用于高效联邦学习的循环模型预训练方法
机器学习
2024-09-06 v2 人工智能
摘要
联邦学习（FL）已被提出用于在人工智能物联网（AIoT）设备上实现分布式学习，并保障高级别数据隐私。由于FL中的随机初始模型容易导致不受控的随机梯度下降（SGD）过程，现有FL方法在非独立同分布场景下深受收敛缓慢与精度不佳的困扰。为解决此问题，我们提出一种名为CyclicFL的新方法，其可快速导出有效初始模型以引导SGD过程，从而提升整体FL训练性能。我们形式化分析了CyclicFL预训练与训练阶段间数据一致性的重要性，展示了CyclicFL预训练模型的损失具有受限的Lipschitz性。此外，我们系统性证明该方法在各种凸性假设下可实现更快收敛速度。不同于需要公共代理数据的传统集中式预训练方法，CyclicFL在选定AIoT设备上循环预训练初始模型而不暴露其本地数据。因此，它们可轻松集成至任何安全关键的FL方法中。综合实验结果表明，CyclicFL不仅能将最大分类精度提升高达，还能显著加速整体FL训练过程。
引用
@article{arxiv.2301.12193,
title = {CyclicFL: A Cyclic Model Pre-Training Approach to Efficient Federated Learning},
author = {Pengyu Zhang and Yingbo Zhou and Ming Hu and Xian Wei and Mingsong Chen},
journal= {arXiv preprint arXiv:2301.12193},
year = {2024}
}