FedDTPT：用于黑箱大语言模型的联邦离散与可迁移提示调优
计算与语言
2024-11-05 v1
摘要
近年来，大语言模型（LLM）显著推动了自然语言处理（NLP）领域的发展。通过使用特定场景的数据对 LLM 进行微调，这些基础模型可以更好地适应各种下游任务。然而，微调过程带来了隐私泄露风险，特别是在集中式数据处理场景中。为解决用户隐私担忧，联邦学习（FL）被引入以缓解与来自多个来源的集中式数据收集相关的风险。然而，LLM 本身的隐私同样关键，因为潜在恶意攻击会挑战其安全性，这是当前研究中关注较少的问题。因此，建立一个可信的多方模型微调环境至关重要。此外，本地部署大型 LLM 会产生显著的存储成本和高计算需求。为应对这些挑战，我们首次提出了一种用于黑箱大语言模型的联邦离散与可迁移提示调优方法，即 FedDTPT。在客户端优化阶段，我们采用基于预测准确率的反馈循环的 token 级离散提示优化方法，通过 MLM API 驱动无梯度提示优化。对于服务器优化，我们采用基于语义相似度的注意力机制来过滤所有本地提示 token，并结合嵌入距离肘部检测和 DBSCAN 聚类策略来增强过滤过程。实验结果表明，与最先进方法相比，我们的方法在黑箱设置下实现了更高的准确率、降低的通信开销以及对非独立同分布数据的鲁棒性。此外，优化后的提示是可迁移的。
引用
@article{arxiv.2411.00985,
title = {FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models},
author = {Jiaqi Wu and Simin Chen and Yuzhe Yang and Yijiang Li and Shiyue Hou and Rui Jing and Zehua Wang and Wei Chen and Zijian Tian},
journal= {arXiv preprint arXiv:2411.00985},
year = {2024}
}