关于差分隐私与经典正则化技术下优化的效用与保护
机器学习
2022-09-08 v1 人工智能
密码学与安全
摘要
如今，深度学习模型的所有者与开发者必须考虑其训练数据严格的隐私保护规则，这些数据通常来自众包并保留敏感信息。当今最广泛采用的、为深度学习模型提供隐私保证的方法依赖于实施差分隐私的优化技术。根据文献，该方法已被证明是针对若干模型隐私攻击的成功防御，但其弊端是模型性能的大幅下降。在本工作中，我们将差分隐私随机梯度下降（DP-SGD）算法与带正则化技术的标准优化实践的有效性进行比较。我们分析了所得模型的效用、训练性能，以及针对所学模型的成员推断与模型反演攻击的有效性。最后，我们讨论差分隐私的缺陷与局限，并实证展示了 dropout 与 l2 正则化常具更优隐私保护特性。
引用
@article{arxiv.2209.03175,
title = {On the utility and protection of optimization with differential privacy and classic regularization techniques},
author = {Eugenio Lomurno and Matteo matteucci},
journal= {arXiv preprint arXiv:2209.03175},
year = {2022}
}