面向理解模型规模对差分隐私分类影响的研究
机器学习
2021-11-30 v1 密码学与安全
摘要
差分隐私（DP）是一种必不可少的隐私保护技术。研究发现，为隐私保护而训练的大模型表现不如小模型（例如 ResNet50 表现不如 ResNet18）。为了更好地理解这一现象，我们从泛化的角度研究高维 DP 学习。理论上，我们证明对于简单的高斯模型，即使 DP 噪声很小，若维度足够大，则分类误差可能糟糕到与随机猜测一样。然后我们提出一种基于新度量的特征选择方法来缩减模型规模，该度量权衡了分类精度与隐私保护。在真实数据上的实验支持了我们的理论结果，并展示了所提方法的优势。
引用
@article{arxiv.2111.13895,
title = {Towards Understanding the Impact of Model Size on Differential Private Classification},
author = {Yinchen Shen and Zhiguo Wang and Ruoyu Sun and Xiaojing Shen},
journal= {arXiv preprint arXiv:2111.13895},
year = {2021}
}