用于差分隐私深度学习的 tempered sigmoid 激活函数
机器学习
2020-07-29 v1 密码学与安全
机器学习
摘要
由于学习有时涉及敏感数据，机器学习算法已被扩展以为训练数据提供隐私保护。在实践中，这大多是事后考虑，即通过改用不同优化器重新运行训练来获得隐私保护模型，却使用在非隐私保护设定下已表现良好的模型架构。如本文所示，这种方法导致不尽理想的隐私/效用权衡。相反，我们提议从一开始便显式地为隐私保护训练选择模型架构。为在差分隐私这一黄金标准下提供保证，必须尽可能严格地界定单个训练点可能对模型更新产生的影响。本文首次观察到激活函数的选择对界定隐私保护深度学习敏感度的核心作用。我们从分析与实验上证明，一类有界激活函数的通用族——tempered sigmoid，始终优于如 ReLU 之类的无界激活函数。利用这一范式，我们在 MNIST、FashionMNIST 与 CIFAR10 上取得了新的 SOTA 精度，且未对学习过程基本原理或差分隐私分析做任何修改。
引用
@article{arxiv.2007.14191,
title = {Tempered Sigmoid Activations for Deep Learning with Differential Privacy},
author = {Nicolas Papernot and Abhradeep Thakurta and Shuang Song and Steve Chien and Úlfar Erlingsson},
journal= {arXiv preprint arXiv:2007.14191},
year = {2020}
}