Lap2：通过Majorization理论重访高维Laplace DP-SGD
密码学与安全
2026-03-10 v3 机器学习
摘要
差分隐私随机梯度下降（DP-SGD）是确保深度学习隐私的核心技术，广泛用于从头训练和微调大规模语言模型。尽管DP-SGD主要依赖高斯机制，而拉普拉斯机制因依赖L1范数剪切而被严重 underutilize。这种限制严重削弱了其在高维模型中的实用性，因为n维梯度的L1范数可比其L2范数大达sqrt(n)倍。结果是所需噪声规模随模型规模显著增长，导致实用性差或模型无法训练。本文引入Lap2，一种新方法，使Laplace DP-SGD能够使用L2剪切，同时保持强隐私保证。我们通过计算坐标轴相关矩上界，并运用majorization理论构建对整个模型的紧致、数据独立上界，从而克服维度驱动的剪切瓶颈。利用矩记者函数的Schur凸性，我们采用精心设计的majorization集合来聚合这些上界，同时尊重L2剪切约束。这产生了一种随模型维度优雅扩展的数变量隐私记者，使能够使用数千个矩。经验评估表明，我们的方法显著改进了拉普拉斯DP-SGD的性能，在强隐私约束下，实现了与或优于高斯DP-SGD的效果。例如，在epsilon=0.54下，对RoBERTa-base（1250万参数）在SST-2上的微调准确率达87.88%，优于高斯（87.16%）和标准拉普拉斯（48.97%）。
引用
@article{arxiv.2602.23516,
title = {Lap2: Revisiting Laplace DP-SGD for High Dimensions via Majorization Theory},
author = {Meisam Mohammady and Qin Yang and Nicholas Stout and Ayesha Samreen and Han Wang and Christopher J Quinn and Yuan Hong},
journal= {arXiv preprint arXiv:2602.23516},
year = {2026}
}
备注
Accepted at IEEE CSF 2026; Corrected version; 16 pages including appendix