LoRA 与隐私：随机投影何时有帮助（以及何时没有帮助）
机器学习
2026-01-30 v1 机器学习
摘要
我们提出了（愿望矩阵）投影机制，一种形式为 的随机映射，其中 ，并研究其差分隐私属性。对于向量值查询 ，我们在无任何添加噪声的情况下证明了非渐近 DP 保证，表明愿望随机性本身就足以实现。这一机制的关键是，它不需要额外的噪声。对于矩阵值查询，我们建立了一个尖锐的负结果：在无噪声设置下，该机制不具备 DP 性质，我们通过实现近乎完美的成员推断攻击（AUC ）来证明了其脆弱性。我们then 分析了带噪声的变体，并在大尺度和小尺度情景下证明了随机性和低秩投影带来的隐私放大效应，获得比仅添加噪声更强的隐私保证。最后，我们表明 LoRA 风格的更新是该矩阵值机制的一个实例，暗示 LoRA 本身不具备内置隐私，尽管其内置随机性，但低秩微调在相同噪声水平下比完全微调更具隐私。初步实验表明，更紧密的计量使我们能够在实践中使用更低的噪声并提高准确性。
引用
@article{arxiv.2601.21719,
title = {LoRA and Privacy: When Random Projections Help (and When They Don't)},
author = {Yaxi Hu and Johanna Düngler and Bernhard Schölkopf and Amartya Sanyal},
journal= {arXiv preprint arXiv:2601.21719},
year = {2026}
}