局部优越汤：跨孤岛联邦学习中模型合并的催化剂
机器学习
2024-11-01 v1
摘要
联邦学习（FL）是一种能够利用分散数据进行模型协作训练的学习范式。最近，在联邦学习中使用预训练权重初始化已被证明能有效提升模型性能。然而，当前预训练模型日益增长的复杂性，其特点是参数数量大幅增加，显著加剧了将其适配到联邦学习所需的通信轮次相关的挑战。为了解决这些通信成本问题并提高联邦学习中预训练模型适配的性能，我们提出了一种创新的基于模型插值的本地训练技术，称为“Local Superior Soups”。我们的方法增强了不同客户端之间的本地训练，通过正则化的模型插值，鼓励在少数几轮通信内探索一个连通的低损失盆地。这种方法充当了在联邦学习中无缝适配预训练模型的催化剂。我们在多个广泛使用的联邦学习数据集上证明了其有效性和效率。我们的代码可在\href{https://github.com/ubc-tea/Local-Superior-Soups}{https://github.com/ubc-tea/Local-Superior-Soups}获取。
引用
@article{arxiv.2410.23660,
title = {Local Superior Soups: A Catalyst for Model Merging in Cross-Silo Federated Learning},
author = {Minghui Chen and Meirui Jiang and Xin Zhang and Qi Dou and Zehua Wang and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2410.23660},
year = {2024}
}
备注
Accepted at NeurIPS 2024