权重随机置换用于改进基于Transformer的DPSGD
机器学习
2024-07-23 v1 密码学与安全
摘要
差分隐私 (DP) 机制，特别是在高维情境下，常面临在保持隐私而不损失数据效用的挑战。本工作在差分隐私随机梯度下降 (DPSGD)中引入一种创新的随机置换机制，以在相同隐私保证下提升大规模模型的效用。具体而言，我们揭示了随机置换在梯度下降轨迹上引入额外随机性，而不影响模型准确性——由于置换不变性质，该模型可在前向和后向传播中等价计算。我们表明，置换确实改进了DPSGD的隐私保证，但在 shuffled model 上精确跟踪隐私损失极具挑战。因此，我们利用对数正态分布之和的近似来推导出shuffled DPSGD满足DP保证的条件。审计结果表明，我们的条件提供的DP保证与审计的隐私水平相当接近，证明了该方法在实际操作中具有有效的估计。实验结果验证了我们的理论推导，说明该方法在各种模型和任务上的DP-SGD准确性优于最先进的基准方法。
关键词
引用
@article{arxiv.2407.15414,
title = {Weights Shuffling for Improving DPSGD in Transformer-based Models},
author = {Jungang Yang and Zhe Ji and Liyao Xiang},
journal= {arXiv preprint arXiv:2407.15414},
year = {2024}
}