关于差分隐私深度学习的收敛性与校准
机器学习
2023-06-21 v6 机器学习
摘要
差分隐私（DP）训练通常以保护数据隐私为代价，带来收敛更慢（从而精度更低）以及比非隐私对应方法更严重的误校准。为分析 DP 训练的收敛性，我们通过神经正切核（NTK）的视角给出连续时间分析，刻画了任意网络架构与损失函数下 DP 训练中的逐样本梯度裁剪与噪声添加。有趣的是，我们表明噪声添加仅影响隐私风险而不影响收敛或校准，而逐样本梯度裁剪（在扁平与分层两种裁剪方式下）仅影响收敛与校准。此外，我们观察到，以较小裁剪范数训练的 DP 模型虽通常取得最佳精度，但校准很差因而不可靠；截然相反，以较大裁剪范数训练的 DP 模型享有相同隐私保证与相近精度，但显著更\textit{校准}。我们的代码见 \url{https://github.com/woodyx218/opacus_global_clipping}。
引用
@article{arxiv.2106.07830,
title = {On the Convergence and Calibration of Deep Learning with Differential Privacy},
author = {Zhiqi Bu and Hua Wang and Zongyu Dai and Qi Long},
journal= {arXiv preprint arXiv:2106.07830},
year = {2023}
}