FedEAT: 联邦大语言模型的鲁棒性优化框架
机器学习
2025-02-18 v1 人工智能
摘要
大语言模型（LLM）在自然语言理解和自动内容生成领域取得了显著进展。然而，它们仍然面临持续存在的问题，包括高昂的计算成本和训练数据不足。联邦学习（FL）与大语言模型的结合（联邦 LLM）通过利用分布式数据并保护隐私提供了解决方案，使其成为敏感领域的理想选择。然而，联邦 LLM 仍然面临鲁棒性挑战，包括数据异构性、恶意客户端和对抗攻击，这些严重阻碍了其应用。我们首先介绍联邦 LLM 中的鲁棒性问题；为了应对这些挑战，我们提出了 FedEAT（Federated Embedding space Adversarial Training），这是一个新颖框架，在客户端 LLM 的嵌入空间中应用对抗训练，并采用鲁棒聚合方法——具体而言是几何中值聚合——以增强联邦 LLM 的鲁棒性。我们的实验表明，FedEAT 在性能损失极小的情况下有效提升了联邦 LLM 的鲁棒性。
引用
@article{arxiv.2502.11863,
title = {FedEAT: A Robustness Optimization Framework for Federated LLMs},
author = {Yahao Pang and Xingyuan Wu and Xiaojin Zhang and Wei Chen and Hai Jin},
journal= {arXiv preprint arXiv:2502.11863},
year = {2025}
}