探索联邦学习中的选择性层微调
机器学习
2024-11-27 v3 分布式、并行与集群计算
摘要
联邦学习（FL）已成为一种有前景的范式，用于以保护隐私的方式利用分布式数据微调基础模型。在有限的计算资源下，客户端通常发现，根据其特定任务数据微调选定的层子集，而不是整个模型，更为实用。在本研究中，我们对FL中的选择性层微调进行了深入的理论探索，强调了一种灵活的方法，允许客户端根据其本地数据和资源调整其选择的层。我们从理论上证明，层选择策略在两个方面对模型收敛有显著影响：所选层的重要性以及客户端之间的异构选择。基于这些见解，我们进一步提出了一种策略性的层选择方法，该方法利用局部梯度并调节客户端之间的层选择。在图像和文本数据集上进行的大量实验证明了所提出策略相对于几种基线的有效性，突显了其在识别适应FL中客户端异质性和训练动态的关键层方面的先进性。
引用
@article{arxiv.2408.15600,
title = {Exploring Selective Layer Fine-Tuning in Federated Learning},
author = {Yuchang Sun and Yuexiang Xie and Bolin Ding and Yaliang Li and Jun Zhang},
journal= {arXiv preprint arXiv:2408.15600},
year = {2024}
}