面向差分隐私深度学习的高效超参数优化
机器学习
2021-08-10 v1 密码学与安全
摘要
调整差分隐私随机梯度下降（DPSGD）中的超参数是一项基本挑战。与典型的 SGD 不同，私有数据集不能在 DPSGD 中多次用于超参数搜索，例如通过网格搜索。因此，本质上需要这样的算法：在给定搜索空间内，能够高效地找到近最优超参数以实现最佳可达的隐私-效用权衡。我们将此问题形式化为一个用于建立理想隐私-效用权衡的通用优化框架，并系统地研究了三种可用于该框架的高性价比算法：进化算法、贝叶斯算法和强化学习。我们在 MNIST 和 CIFAR-10 数据集上进行的 DPSGD 超参数调优实验表明，这三种算法显著优于广泛使用的网格搜索基线。由于本文提供了 DPSGD 中超参数调优的首个此类框架，我们讨论了现有挑战与未来研究的开放方向。我们相信我们的工作可被用于私有深度学习的流程中，因此我们在 https://github.com/AmanPriyanshu/DP-HyperparamTuning 开源了代码。
引用
@article{arxiv.2108.03888,
title = {Efficient Hyperparameter Optimization for Differentially Private Deep Learning},
author = {Aman Priyanshu and Rakshit Naidu and Fatemehsadat Mireshghallah and Mohammad Malekzadeh},
journal= {arXiv preprint arXiv:2108.03888},
year = {2021}
}
备注
4+1 pages, 4 figures, 1 table