面向差分隐私学习的自监督预训练
计算机视觉与模式识别
2022-08-08 v2 密码学与安全
摘要
我们证明，在图像分类中，无论可用公共数据集大小如何，自监督预训练 (SSP) 都是具有差分隐私 (DP) 的深度学习的可扩展解决方案。在面临缺乏公共数据集时，我们表明仅在单张图像上由 SSP 生成的特征，使私有分类器在相同隐私预算下获得的效用远优于非学习的人工设计特征。当具有中等或大规模公共数据集时，SSP 生成的特征在相同隐私预算下在各种复杂私有数据集上大大优于使用标签训练的特征。我们还比较了多种支持 DP 的训练框架，以在 SSP 生成的特征上训练私有分类器。最后，我们报告了在 时私有 ImageNet-1K 数据集达到 25.3\% 的非平凡效用。我们的源代码可在 \url{https://github.com/UnchartedRLab/SSP} 找到。
引用
@article{arxiv.2206.07125,
title = {Self-Supervised Pretraining for Differentially Private Learning},
author = {Arash Asadian and Evan Weidner and Lei Jiang},
journal= {arXiv preprint arXiv:2206.07125},
year = {2022}
}