DPNAS：面向差分隐私深度学习的神经架构搜索
机器学习
2021-10-20 v2 人工智能
密码学与安全
摘要
训练具有有意义差分隐私（DP）保证的深度神经网络（DNNs）会严重损害模型效用。本文中，我们证明DNN的架构在私有深度学习背景下对模型效用有显著影响，而此前研究很大程度上未探索该影响。鉴于此缺失，我们提出首个采用神经架构搜索实现私有深度学习自动模型设计的框架，称为DPNAS。为将私有学习与架构搜索结合，我们精心设计了新颖搜索空间并提出一种DP感知的候选模型训练方法。我们从经验上证实了所提框架的有效性。搜索得到的模型DPNASNet取得了SOTA的隐私/效用权衡，例如，对于 的隐私预算，我们的模型在MNIST上测试准确率为 ，在FashionMNIST上为 ，在CIFAR-10上为 。此外，通过研究生成的架构，我们给出了若干关于设计私有学习友好型DNNs的有趣发现，可为带差分隐私的深度学习模型设计提供新思路。
引用
@article{arxiv.2110.08557,
title = {DPNAS: Neural Architecture Search for Deep Learning with Differential Privacy},
author = {Anda Cheng and Jiaxing Wang and Xi Sheryl Zhang and Qiang Chen and Peisong Wang and Jian Cheng},
journal= {arXiv preprint arXiv:2110.08557},
year = {2021}
}