面向差分私有随机梯度下降的批量裁剪与自适应分层裁剪
机器学习
2023-07-25 v1
摘要
差分私有随机梯度下降（DPSGD）的每一轮将加有高斯噪声扰动的裁剪梯度之和传输至中央服务器，后者据此更新通常代表深度神经网络的全局模型。由于裁剪梯度是分别计算得到的（我们称之为个体裁剪（IC）），诸如 resnet-18 等深度神经网络无法使用批归一化层（BNL），而 BNL 是深度神经网络中实现高精度的关键组件。为利用 BNL，我们引入批量裁剪（BC）：不同于原始 DPSGD 中裁剪单个梯度，我们对梯度批次取平均并裁剪。此外，不同层的模型项对所加高斯噪声的敏感度不同。因此，自适应分层裁剪方法（ALC）被提出并研究，其中每一层拥有自身自适应微调的裁剪常数，但迄今缺乏严格的 DP 证明。本文提出一种新 ALC，并为 BC 与 ALC 均提供严格的 DP 证明。实验表明，我们改进的 DPSGD（采用 BC 与 ALC）在 CIFAR- 与 resnet- 上收敛，而采用 IC 与 ALC 的 DPSGD 不收敛。
引用
@article{arxiv.2307.11939,
title = {Batch Clipping and Adaptive Layerwise Clipping for Differential Private Stochastic Gradient Descent},
author = {Toan N. Nguyen and Phuong Ha Nguyen and Lam M. Nguyen and Marten Van Dijk},
journal= {arXiv preprint arXiv:2307.11939},
year = {2023}
}
备注
20 pages, 18 Figures