PrivTune：通过设备-云协作实现高效且保护隐私的大型语言模型微调
密码学与安全
2026-01-22 v3 人工智能
机器学习
摘要
随着大型语言模型的兴起，服务提供商将语言模型作为服务提供，使用户能够通过上传私有数据集来微调定制化模型。然而，这引发了关于敏感数据泄露的担忧。此前依赖设备-云协作框架中差分隐私的方法，难以在隐私与效用之间取得平衡，使用户面临推理攻击的风险或降低微调性能。为解决这一问题，我们提出了 PrivTune，一个通过分裂学习（Split Learning, SL）实现的高效且保护隐私的微调框架。PrivTune 的核心思想是将精心设计的噪声注入 SL 底层模型的 token 表示中，使每个 token 类似于其 -hop 间接邻居。PrivTune 将此表述为一个优化问题，以计算最优噪声向量，与防御-效用目标保持一致。在此基础上，它随后调整 -Privacy 噪声分布的参数（即均值），使其与优化方向对齐，并根据 token 重要性对噪声进行缩放，以最小化失真。在五个数据集（涵盖分类和生成任务）上针对三种嵌入反转攻击和三种属性推理攻击进行的实验表明，在斯坦福情感树库数据集上使用 RoBERTa 时，PrivTune 将攻击成功率降至 10%，仅造成 3.33% 的效用性能下降，优于最先进的基线方法。
引用
@article{arxiv.2512.08809,
title = {PrivTune: Efficient and Privacy-Preserving Fine-Tuning of Large Language Models via Device-Cloud Collaboration},
author = {Yi Liu and Weixiang Han and Chengjun Cai and Xingliang Yuan and Cong Wang},
journal= {arXiv preprint arXiv:2512.08809},
year = {2026}
}
备注
Accepted at IEEE INFOCOM 2026 (full version). Update the cited references