AdaDPIGU：面向深度神经网络的自适应裁剪与基于重要性的差分隐私 SGD
机器学习
2025-07-10 v1 统计理论
机器学习
统计理论
摘要
差分隐私已被证明对随机梯度下降有效；然而，现有方法常在高维场景下因尺度随维度增加而导致性能下降。为此，我们提出 AdaDPIGU——一个面向深度神经网络的新型差分隐私 SGD 框架，采用基于重要性的梯度更新。我们在预训练阶段应用差分隐私高斯机制来估计每个参数的重要性，同时保持隐私。在梯度更新阶段，我们剪枝低重要性坐标，引入坐标级自适应裁剪机制，实现稀疏且高效的梯度更新。理论上，我们证明 AdaDPIGU 满足 差分隐私，同时保留收敛性保证。在标准基准上进行大量实验验证了 AdaDPIGU 的有效性。所有结果均在保留比例为 60% 的固定条件下报告。在 MNIST 上，在隐私预算 下，我们的方法实现了 99.12% 的测试准确率，几乎与非私有模型持平。值得注意的是，在 CIFAR-10 上，在 时达到 73.21% 的准确率，显著优于非私有基线的 71.12%，表明自适应稀疏化既提升了隐私又增强了实用性。
引用
@article{arxiv.2507.06525,
title = {AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks},
author = {Huiqi Zhang and Fang Xie},
journal= {arXiv preprint arXiv:2507.06525},
year = {2025}
}