重访联邦微调：单次通信轮次足以进行基础模型微调
机器学习
2025-11-07 v2 分布式、并行与集群计算
摘要
近期基础模型 (foundation models, FMs) 的发展增加了在大规模跨域数据集上对这些模型进行微调的需求。为此，联邦微调涌现出来，允许在多个设备上分布式地对 FMs 进行微调，同时确保数据隐私。然而，大规模参数和联邦学习算法中的多轮通信导致沉重的通信成本，挑战了联邦微调的实际可行性。本文我们识别并分析了，传统的多轮聚合算法在联邦微调大型 FMs 时可能并非必需。我们的实验表明，单轮聚合（即一次性联邦微调）即可获得与通过多轮聚合相同的数据集性能。通过严格的数学和实证分析，我们展示了大型 FMs 由于其广泛的参数规模和在通用任务上的预训练，在一次性联邦微调中可显著降低训练损失。我们的大量实验表明，一次性联邦微调显著降低了通信成本。它还可能实现异步聚合，增强隐私，并在文本生成和文本到图像生成任务上保持与多轮联邦微调的性能一致性。我们的发现为在实践中革新联邦微调提供了见解，提高了效率，降低了成本，并扩大了 FMs 的可及性。
引用
@article{arxiv.2412.04650,
title = {Revisiting Federated Fine-Tuning: A Single Communication Round is Enough for Foundation Models},
author = {Ziyao Wang and Bowei Tian and Yexiao He and Zheyu Shen and Guoheng Sun and Yuhan Liu and Luyang Liu and Meng Liu and Ang Li},
journal= {arXiv preprint arXiv:2412.04650},
year = {2025}
}