基于差分隐私的大规模卷积神经网络可扩展高效训练

大型卷积神经网络(CNN)在差分隐私(DP)机制下可能难以训练，因为优化算法需要一项计算昂贵的操作，即逐样本梯度裁剪。我们提出了一种在卷积层上高效且可扩展的裁剪实现，称为混合ghost裁剪(mixed ghost clipping)，其在时间和空间复杂度上显著简化了私有训练，且不影响精度。通过首次对混合ghost裁剪和现有DP训练算法进行复杂度分析，严格研究了效率的提升。在视觉分类任务上使用大型ResNet、VGG和Vision Transformers的大量实验表明，采用混合ghost裁剪的DP训练相比标准非私有训练仅增加$1\sim 10\%$内存开销和$<2\times$减速。具体而言，在CIFAR10上训练VGG19时，混合ghost裁剪比最先进的Opacus库快$3\times$，且最大批大小大$18\times$。为强调卷积层高效DP训练的重要性，我们使用BEiT在$\epsilon=1$下于CIFAR10达到96.7\%准确率、于CIFAR100达到83.0\%准确率，而先前最佳结果分别为94.8\%和67.4\%。我们开源了一个隐私引擎(\url{https://github.com/woodyx218/private_vision})，仅需几行代码即可实现CNN的DP训练。