通过快速逐样本梯度裁剪扩展差分隐私深度学习
机器学习
2020-09-08 v1 机器学习
摘要
近期关于 Renyi 差分隐私的工作已展示了将差分隐私应用于深度学习任务的可行性。然而，尽管前景可期，差分隐私深度网络在准确率上常远落后于非隐私对应模型，表明需要在模型架构、优化器等方面开展更多研究。阻碍这一扩展研究的障碍之一是训练时间——往往比训练非隐私网络大数个数量级。造成此减速的原因是一个关键的隐私相关步骤“逐样本梯度裁剪”，其朴素实现抵消了 GPU 批量训练的优势。通过分析反向传播方程，我们推导了与自动微分兼容（例如 PyTorch 和 TensorFlow 中）并提供更佳 GPU 利用率的逐样本梯度裁剪新方法。我们在 PyTorch 中的实现显示出显著的训练加速（在批量大小为 128 训练各类模型时加速 54 至 94 倍）。这些技术适用于多种架构选择，包括卷积层、循环网络、注意力、残差块等。
关键词
引用
@article{arxiv.2009.03106,
title = {Scaling up Differentially Private Deep Learning with Fast Per-Example Gradient Clipping},
author = {Jaewoo Lee and Daniel Kifer},
journal= {arXiv preprint arXiv:2009.03106},
year = {2020}
}
备注
To appear in PETS2021