超收敛与差分隐私：以更快训练获得更优隐私保障
机器学习
2021-06-03 v1 密码学与安全
摘要
深度神经网络与差分隐私的结合近年来日益受到关注，因为它为所用训练数据集中的个体提供了重要的数据保护保障。然而，在神经网络训练中使用差分隐私带来一系列缺陷，例如验证精度下降以及训练所需资源与时间的显著增加。本文中，我们考察超收敛作为一种极大提升差分隐私神经网络训练速度的方法，以解决训练时间与资源消耗高的缺陷。超收敛利用极高的学习率实现网络训练加速，且已表明能以比常规方式少若干个数量级的训练迭代获得高可用性的模型。本文实验表明，当将其与差分隐私结合时也能观察到这种数量级的加速，相较于非隐私、非超收敛的基线模型，在少得多的训练迭代下达到更高的验证精度。此外，超收敛被证明能改善私有模型的隐私保障。
引用
@article{arxiv.2103.10498,
title = {Super-convergence and Differential Privacy: Training faster with better privacy guarantees},
author = {Osvald Frisk and Friedrich Dörmann and Christian Marius Lillelund and Christian Fischer Pedersen},
journal= {arXiv preprint arXiv:2103.10498},
year = {2021}
}
备注
(To be) Published and presented at the 55th Annual Conference on Information Sciences and Systems (CISS), 7 pages, 4 figures