可调软提示是联邦学习中的信使
计算与语言
2023-11-14 v1
摘要
联邦学习（FL）使多个参与方能够利用去中心化数据源协作训练机器学习模型，缓解了直接共享本地数据所带来的隐私担忧。然而，FL 中缺乏模型隐私保护已成为一个不可忽视的挑战，尤其是当人们希望基于专有大语言模型进行联邦微调时。在本研究中，我们提出了一种新颖的 FL 训练方法，通过可调软提示实现参与方之间的信息交换。这些软提示在服务器与客户端之间更新和传输，承担全局模型参数的角色，并作为信使从本地数据与全局模型中传递有用知识。由于全局模型本身无需共享，且本地训练基于参数量少于全局模型的辅助模型进行，所提方法在保护全局模型的同时降低了 FL 中的通信与计算成本。大量实验显示了该方法相较若干基线的有效性。我们已在 \url{https://github.com/alibaba/FederatedScope/tree/fedsp/federatedscope/nlp/fedsp} 发布了源代码。
引用
@article{arxiv.2311.06805,
title = {Tunable Soft Prompts are Messengers in Federated Learning},
author = {Chenhe Dong and Yuexiang Xie and Bolin Ding and Ying Shen and Yaliang Li},
journal= {arXiv preprint arXiv:2311.06805},
year = {2023}
}
备注
Accepted by EMNLP-23