FedPrompt：联邦学习中通信高效且保护隐私的提示微调
机器学习
2023-01-25 v3 人工智能
密码学与安全
摘要
联邦学习（FL）通过聚合模型更新，以隐私保护方式在去中心化数据上实现全局模型训练。然而，对于许多使用参数量庞大的预训练语言模型（PLMs）的自然语言处理（NLP）任务，FL 伴随可观的通信成本。近来，提示微调（仅调整软提示而不修改 PLMs）作为一种新学习范式取得了优异性能。因此我们欲将两方法结合，探索提示微调在 FL 下的效果。本文提出“FedPrompt”，以模型切分聚合方式研究 FL 中的提示微调，并证明切分聚合大幅降低通信成本，仅用 PLMs 参数的 0.01%，在 IID 与 Non-IID 数据分布下准确率下降甚微。这提升了 FL 方法效率，同时保护提示微调中的数据隐私。此外，如同 PLMs，提示在公共平台与个人用户间上传下载，我们试图厘清在 FL 场景中仅用软提示是否仍存在后门威胁。我们进一步通过对 FedPrompt 数据投毒实施后门攻击。实验表明常规后门攻击无法获得高攻击成功率，证明了 FedPrompt 的鲁棒性。希望本工作推动提示在 FL 中的应用并提升对潜在安全威胁的认知。
引用
@article{arxiv.2208.12268,
title = {FedPrompt: Communication-Efficient and Privacy Preserving Prompt Tuning in Federated Learning},
author = {Haodong Zhao and Wei Du and Fangqi Li and Peixuan Li and Gongshen Liu},
journal= {arXiv preprint arXiv:2208.12268},
year = {2023}
}