通过即时编译与向量化实现快速差分隐私 SGD
机器学习
2021-10-28 v2 密码学与安全
性能
摘要
差分隐私机器学习中的一个常见痛点是执行差分隐私随机梯度下降（DPSGD）时带来的显著运行时开销，其可能高达两个数量级。我们充分证明，通过利用强大的语言原语，包括向量化、即时编译和静态图优化，可以大幅降低这些开销，在许多情况下几乎匹配最佳非私有运行时间。这些收益在 JAX 与 TensorFlow 两个框架中得以实现。JAX 通过 XLA 编译器将这些原语作为语言核心特性提供丰富支持。我们还重建了 TensorFlow Privacy 的核心部分，集成了来自 TensorFlow 2 以及 XLA 编译的特性，相较于当前发布版本带来了显著的内存与运行时改进。这些方法使我们相比最佳替代方案实现了高达 50 倍的加速。我们的代码可在 https://github.com/TheSalon/fast-dpsgd 获取。
引用
@article{arxiv.2010.09063,
title = {Enabling Fast Differentially Private SGD via Just-in-Time Compilation and Vectorization},
author = {Pranav Subramani and Nicholas Vadivelu and Gautam Kamath},
journal= {arXiv preprint arXiv:2010.09063},
year = {2021}
}
备注
To appear in NeurIPS 2021