面向大语言模型服务的隐私保护参数高效微调
计算与语言
2025-10-13 v3 密码学与安全
摘要
参数高效微调 (PEFT) 为用户在 LLM 服务场景中利用其私有数据定制大语言模型 (LLM) 提供了实用途径。然而，私有数据固有的敏感性要求在定制 LLM 服务过程中采取强有力的隐私保护措施，以确保数据安全、维持用户信任并符合严格的监管标准。基于 PEFT，我们提出隐私保护参数高效微调 (RAPT)，一种为 LLM 服务提供隐私保护的框架。RAPT 采用本地隐私方法，使用文本到文本的本地差分隐私机制使用户能够在本地将其数据私有化。由于 PEFT 直接在私有化数据上训练时表现不佳，我们引入了一种新颖的私有化词元重建任务，与下游任务联合训练，使 LLM 能够学习更好的任务相关表示。尽管我们的框架简单，实验表明 RAPT 在提供针对敌手的隐私保证的同时，在各任务上取得了具有竞争力的性能。
引用
@article{arxiv.2305.06212,
title = {Privacy-Preserving Parameter-Efficient Fine-Tuning for Large Language Model Services},
author = {Yansong Li and Zhixing Tan and Paula Branco and Yang Liu},
journal= {arXiv preprint arXiv:2305.06212},
year = {2025}
}