无裁剪的 DP-SGD：基于 Lipschitz 神经网络的方法
机器学习
2024-02-23 v2 密码学与安全
摘要
训练差分隐私（DP）深度神经网络（DNN）的最先进方法难以估计网络各层敏感度的紧界，转而依赖逐样本梯度裁剪过程。这一裁剪过程不仅有偏于梯度方向，而且在内存消耗和计算上都代价高昂。为提供敏感度界并规避裁剪过程的缺陷，我们提出依赖 Lipschitz 约束网络。我们的理论分析揭示了关于输入的 Lipschitz 常数与关于参数的 Lipschitz 常数之间未被探索的联系。通过约束每一层关于其参数的 Lipschitz 常数，我们证明了可以在隐私保证下训练这些网络。我们的分析不仅允许大规模计算上述敏感度，还为如何在固定隐私保证下最大化梯度噪声比提供了指导。代码已作为 Python 包发布于 https://github.com/Algue-Rythme/lip-dp
引用
@article{arxiv.2305.16202,
title = {DP-SGD Without Clipping: The Lipschitz Neural Network Way},
author = {Louis Bethune and Thomas Massena and Thibaut Boissin and Yannick Prudent and Corentin Friedrich and Franck Mamalet and Aurelien Bellet and Mathieu Serrurier and David Vigouroux},
journal= {arXiv preprint arXiv:2305.16202},
year = {2024}
}
备注
46 pages, published at International Conferences on Learning Representations (ICLR), 2024