计算机视觉中的混合差分隐私
计算机视觉与模式识别
2022-03-30 v2 密码学与安全
摘要
我们引入 AdaMix，一种自适应差分隐私算法，用于利用私有与公开图像数据训练深度神经网络分类器。尽管在大型公开数据集上预训练语言模型已能以微小的精度损失实现强差分隐私（DP）保证，类似做法在视觉任务中却带来严峻的权衡。忽略私有数据的少样本甚至零样本学习基线，可能优于在大型私有数据集上的微调。AdaMix 在私有微调之前，对公开数据采用少样本训练或跨模态零样本学习，以改善该权衡。在 6 个数据集上平均而言，AdaMix 将相对于非私有上限的误差增幅从基线的 167–311% 降低到根据用户所选期望隐私级别的 68–92%。AdaMix 解决了视觉分类中出现的权衡：即最具隐私敏感性的数据（对应表示空间中的孤立点）也对高分类精度至关重要。此外，AdaMix 带有强理论隐私保证与收敛性分析。
引用
@article{arxiv.2203.11481,
title = {Mixed Differential Privacy in Computer Vision},
author = {Aditya Golatkar and Alessandro Achille and Yu-Xiang Wang and Aaron Roth and Michael Kearns and Stefano Soatto},
journal= {arXiv preprint arXiv:2203.11481},
year = {2022}
}
备注
Accepted at CVPR 2022