基于Rényi差分隐私的实用隐私过滤器与隐私计量器及其在差分隐私深度学习中的应用
机器学习
2021-06-08 v2 机器学习
摘要
差分隐私（DP）是隐私保护深度学习的主流方法。因此，已有多项工作致力于将DP直接集成到流行框架中。这些工作在每次梯度计算时添加噪声以实现DP，并依赖组合定理来约束这一DP计算序列所产生的总隐私损失。然而，现有的组合定理在效率与灵活性之间存在矛盾。大多数定理要求序列中所有计算具有预定义的DP参数，称为隐私预算。这阻碍了设计能够动态适应隐私预算或提前终止以减少总隐私损失的训练算法。作为替代，少数现有的针对自适应隐私预算的组合结果提供了复杂的隐私损失界，其常数过大而不具实用性。本文通过Rényi差分隐私的视角研究自适应隐私预算下的DP组合，证明了一个常数更小、更简单的组合定理，使其足以在算法设计中实用。我们展示了该定理在DP深度学习中的两个应用：在固定总隐私损失内在线调整噪声或批大小以提升模型精度，以及在微调模型时提前停止以减少总隐私损失。
引用
@article{arxiv.2103.01379,
title = {Practical Privacy Filters and Odometers with R\'enyi Differential Privacy and Applications to Differentially Private Deep Learning},
author = {Mathias Lécuyer},
journal= {arXiv preprint arXiv:2103.01379},
year = {2021}
}