重新审视微调大语言模型时的隐私、效用与效率权衡
人工智能
2026-02-10 v2 机器学习
摘要
我们研究了在微调大语言模型（LLM）时，在最小化隐私风险、最大化效用以及保持高计算效率之间固有的权衡。近期隐私研究中的许多工作试图通过使用差分隐私训练方法（例如 DP）来缓解由记忆微调数据带来的隐私风险，尽管这会带来显著更高的计算成本（低效）。与此同时，系统研究中的几项工作专注于开发（参数）高效微调方法（例如 LoRA），但鲜有工作研究此类高效方法是否会增强或削弱隐私风险。在本文中，我们研究了这一空白并得出了一个令人惊讶的结论：像 LoRA 这样的高效微调方法能够像 DP 这样的隐私微调方法一样缓解隐私风险。我们的实证发现直接反驳了现有观点，即在微调期间隐私和效率目标是相互矛盾的。我们的发现是通过以下方式确立的：仔细定义隐私和效用的度量，以区分微调中使用的训练和测试数据集中对敏感和非敏感 token 的记忆；使用来自 Pythia、Gemma、Llama 和 Qwen 家族的多个开源语言模型以及不同领域特定数据集进行广泛评估。
引用
@article{arxiv.2502.13313,
title = {Revisiting Privacy, Utility, and Efficiency Trade-offs when Fine-Tuning Large Language Models},
author = {Soumi Das and Camila Kolling and Mohammad Aflah Khan and Mahsa Amani and Bishwamittra Ghosh and Qinyuan Wu and Till Speicher and Krishna P. Gummadi},
journal= {arXiv preprint arXiv:2502.13313},
year = {2026}
}
备注
This work has been accepted at IASEAI 2026 (Non-archival)