无TAN消耗的TAN：DP-SGD的缩放定律
机器学习
2023-05-25 v2 密码学与安全
机器学习
摘要
用于训练深度神经网络（DNNs）的差分私有方法近来取得了进展，特别是通过使用大规模批次和聚合数据增强进行大量训练步数。这些技术比非私有对应方法需要多得多的计算资源，将传统的隐私-精度权衡转变为隐私-精度-计算权衡，并使现实场景下的超参数搜索几乎不可能。在这项工作中，我们解耦噪声训练的隐私分析与实验行为，以最小计算需求探索该权衡。我们首先使用Rényi差分隐私（RDP）工具指出，当不过度消耗时，隐私预算仅取决于整个训练过程中注入的总噪声量（TAN）。然后我们推导了用DP-SGD训练模型的缩放定律，以超过的计算预算缩减来优化超参数。我们将所提方法应用于CIFAR-10和ImageNet，特别地，在隐私预算epsilon=8下以top-1精度+9点的提升大幅改进了ImageNet上的最优结果（SOTA）。
引用
@article{arxiv.2210.03403,
title = {TAN Without a Burn: Scaling Laws of DP-SGD},
author = {Tom Sander and Pierre Stock and Alexandre Sablayrolles},
journal= {arXiv preprint arXiv:2210.03403},
year = {2023}
}