基于梯度矩阵去噪的样本高效差分隐私微调
机器学习
2026-01-12 v2
摘要
我们解决差分隐私微调大型语言模型 (LLM) 中样本效率的挑战，采用 DP-SGD 方法。虽然 DP-SGD 能提供强大的隐私保障，但添加的噪声显著增加了梯度矩阵的熵，破坏了其低秩结构，导致优化过程减缓。我们提出一种后处理算法，利用随机矩阵理论对梯度进行去噪，恢复低秩结构，并提高与原始信号的对齐度。应用于 RoBERTa 在 GLUE 任务上的 DP-SGD 微调，我们的方法在样本效率方面优于当前最先进的方法，显著缩短在无需达到最佳性能时的训练时间。这一工作表明，矩阵恢复技术可在不牺牲隐私保障的前提下，提升私有语言模型训练的实用性。
引用
@article{arxiv.2510.01137,
title = {Sample-Efficient Differentially Private Fine-Tuning via Gradient Matrix Denoising},
author = {Ali Dadsetan and Frank Rudzicz},
journal= {arXiv preprint arXiv:2510.01137},
year = {2026}
}
备注
Added additional experiments for 1. including generative tasks and auto-regressive llms, 2. showing the delay in differentially private optimization, and 3. explaining the choice of kappa. Added better explanation for theoretical benefits of norm correction and the need for threshold