以微小代价在大型模型上实现差分隐私优化
机器学习
2023-09-20 v2 计算与语言
密码学与安全
计算机视觉与模式识别
摘要
差分隐私（DP）优化是训练准确且保护隐私的大型神经网络的标准范式。然而，由于逐样本梯度裁剪，DP深度学习在计算代价方面声名狼藉地沉重。现有的DP实现在时间复杂度和空间复杂度上比标准（非隐私）训练昂贵2到1000倍。在这项工作中，我们开发了一种新颖的记账（Book-Keeping, BK）技术，该技术实现现有的DP优化器（从而达到相同的准确率），同时在计算代价上实现了实质性改进。具体而言，BK使得在大型模型和高维数据上的DP训练大致与标准训练一样快速和节省内存，而先前的DP算法可能因内存错误而效率低下或无法训练。BK的计算优势得到了复杂度分析以及在视觉和语言任务上广泛实验的支持。我们的实现以非常小的额外代价达到了最先进（SOTA）准确率：在GPT2上，在几乎相同的内存代价（<1%开销）下，BK的时间复杂度是标准训练的1.03倍（实践中训练速度为0.83倍），且是最高效DP实现的0.61倍（实践中训练速度为1.36倍）。我们在FastDP库（https://github.com/awslabs/fast-differential-privacy）开源了BK算法的代码库。
引用
@article{arxiv.2210.00038,
title = {Differentially Private Optimization on Large Model at Small Cost},
author = {Zhiqi Bu and Yu-Xiang Wang and Sheng Zha and George Karypis},
journal= {arXiv preprint arXiv:2210.00038},
year = {2023}
}