FedDPG：联邦学习环境中一种自适应且高效的提示微调方法
机器学习
2025-07-29 v1 人工智能
计算与语言
摘要
预训练语言模型（PLMs）在各种 NLP 任务中展现出了令人印象深刻的性能。然而，利用 PLMs 进行下游任务的传统微调方法需要巨大的计算开销。Prompt-tuning 作为一种高效的替代方案出现，它涉及在输入序列前添加有限数量的参数，并在 PLM 参数冻结时仅更新这些参数。然而，该技术的提示对所有输入保持固定，降低了模型的灵活性。联邦学习（FL）技术近年来因解决围绕数据隐私日益增长的担忧而受到关注。然而，客户端的通信和计算限制等挑战仍需解决。为了缓解这些挑战，本文引入了联邦动态提示生成器（FedDPG），它结合了动态提示生成器网络以根据给定输入生成上下文感知的提示，在优先考虑联邦学习环境中数据隐私的同时确保了灵活性和适应性。我们在三个 NLP 基准数据集上的实验表明，FedDPG 在全局模型性能方面优于最先进的参数高效微调方法，并显著减少了计算时间以及需要通过 FL 网络发送的参数数量。
引用
@article{arxiv.2507.19534,
title = {FedDPG: An Adaptive Yet Efficient Prompt-tuning Approach in Federated Learning Settings},
author = {Ali Shakeri and Wei Emma Zhang and Amin Beheshti and Weitong Chen and Jian Yang and Lishan Yang},
journal= {arXiv preprint arXiv:2507.19534},
year = {2025}
}
备注
12 pages; Published to PAKDD'2025