FedTLU：面向联邦学习的目标化层更新
机器学习
2025-01-28 v2 人工智能
分布式、并行与集群计算
摘要
联邦学习 (FL) 通过使多个客户端能够在不将其数据发送给他人的情况下共同训练语言模型，解决了隐私 concerns。然而，来自不同客户端的非 IID (相同且独立分布) 数据常常限制了 FL 的性能。这在模型微调期间尤其具有挑战性，因为由于客户端数据分布的差异导致的噪声会损害模型在准 stationary points 附近的收敛。本文提出了一种针对微调的目标化层更新策略。与实际中通常做的随机更新语言模型层不同，我们使用一种评分机制来识别和更新最关键的层，避免因过度噪声或甚至被毒害的更新而对其他层的参数进行冻结。我们在大量实验中展示，我们的方法在非 IID 环境下改进了收敛和性能，为微调联邦语言模型提供了更高效的方法。
引用
@article{arxiv.2412.17692,
title = {FedTLU: Federated Learning with Targeted Layer Updates},
author = {Jong-Ik Park and Carlee Joe-Wong},
journal= {arXiv preprint arXiv:2412.17692},
year = {2025}
}