通过有界自适应裁剪缓解差分隐私学习的差异性影响

差分隐私（DP）已成为隐私保护机器学习的基本框架。然而，现有的 DP 学习方法通常对模型预测产生差异性影响，例如对少数群体。DP 学习中常用的梯度裁剪会抑制来自困难样本的较大梯度。我们表明，这一问题会被自适应裁剪放大，因为自适应裁剪通常会缩小裁剪边界至极小值以匹配拟合良好的多数样本，同时显著降低其他样本的准确率。我们提出有界自适应裁剪，引入可调下界以防止过度的梯度抑制。与无界自适应裁剪相比，我们的方法在倾斜的 MNIST 和 Fashion MNIST 上将表现最差类别的平均准确率提高了 10 个百分点以上，与常数裁剪相比提高了 5 个百分点以上。