带有有界域和光滑损失函数的差分隐私随机梯度下降的改进隐私与效用分析
机器学习
2026-01-16 v4 密码学与安全
机器学习
摘要
差分隐私随机梯度下降（DPSGD）广泛用于在机器学习模型训练期间保护敏感数据，但其隐私保证常常因缺乏量化隐私损失的紧密理论界限而导致模型性能的大量损失。虽然近期努力实现了更准确的隐私保证，但仍假设不适用于实际应用的条件，如凸性和复杂的参数要求，且很少深入调查隐私机制对模型效用的影响。本文我们为具有一般 L-光滑和非凸损失函数的 DPSGD 提供了严格的隐私表征，揭示了在有界域情况下，隐私损失随迭代次数的收敛情况。具体而言，我们在多个迭代中跟踪隐私损失，利用噪声光滑减小特性，进一步在不同情景下建立了全面的收敛分析。特别地，我们表明对于具有有界域的 DPSGD，(i) 在不依赖凸性假设的情况下，隐私损失仍可收敛；(ii) 在某些条件下，较小的有界直径可以同时提高隐私和效用；(iii) 对于带有梯度裁剪（DPSGD-GC）和带有有界域的 DPSGD-GC（DPSGD-DC）以及 μ-强凸总体风险函数的 DPSGD，其可实现的大 O 阶隐私效用权衡。通过实际情境下的成员推断攻击（MIA）实验验证了从理论结果中所获洞见。
引用
@article{arxiv.2502.17772,
title = {An Improved Privacy and Utility Analysis of Differentially Private SGD with Bounded Domain and Smooth Losses},
author = {Hao Liang and Wanrong Zhang and Xinlei He and Kaishun Wu and Hong Xing},
journal= {arXiv preprint arXiv:2502.17772},
year = {2026}
}
备注
19 pages, 5 figures, accepted by AAAI 2026