SmoothNets：面向差分隐私深度学习的 CNN 架构设计优化
计算机视觉与模式识别
2022-05-10 v1 机器学习
摘要
可以说，训练具有差分隐私的深度神经网络最广泛使用的算法是 DPSGD，它需要对每样本梯度进行裁剪与加噪。这相较于非私有训练引入了模型效用的下降。经验上可观察到，这种精度退化强烈依赖于模型架构。我们研究了该现象，并通过组合具有良好单独性能的组件，提炼出一种称为 SmoothNet 的新模型架构，其特点是对 DP-SGD 训练挑战的鲁棒性增强。在实验中，我们在两个基准数据集上将 SmoothNet 与标准架构对比，观察到我们的架构优于其他架构，在 CIFAR-10 上于 达到 73.5\% 准确率，在 ImageNette 上于 达到 69.2\% 准确率，相较于先前针对 DP 的架构修改取得了最先进结果。
引用
@article{arxiv.2205.04095,
title = {SmoothNets: Optimizing CNN architecture design for differentially private deep learning},
author = {Nicolas W. Remerscheid and Alexander Ziller and Daniel Rueckert and Georgios Kaissis},
journal= {arXiv preprint arXiv:2205.04095},
year = {2022}
}