使用尺度归一化对残差网络进行差分隐私训练
机器学习
2022-05-09 v2 密码学与安全
摘要
使用差分隐私随机梯度下降训练神经网络提供了正式的差分隐私保障，但会引入精度权衡。在这项工作中，我们提出通过一种称为 ScaleNorm 的简单架构修改来缓解带有组归一化的残差网络中的这些权衡，即在残差块的加法操作之后引入一个额外的归一化层。我们的方法使我们能够在 CIFAR-10 数据集上进一步改进最近报道的最先进结果，在从头开始训练时，达到了 82.5% 的 top-1 准确率 ({\epsilon}=8.0)。
引用
@article{arxiv.2203.00324,
title = {Differentially private training of residual networks with scale normalisation},
author = {Helena Klause and Alexander Ziller and Daniel Rueckert and Kerstin Hammernik and Georgios Kaissis},
journal= {arXiv preprint arXiv:2203.00324},
year = {2022}
}
备注
Submitted as paper to TPDP at ICML 2022