学习在用户级差分隐私下生成图像嵌入
机器学习
2023-04-04 v2 密码学与安全
计算机视觉与模式识别
摘要
过去，小型设备端模型已成功地在用户级差分隐私（DP）下训练，用于下一词预测和图像分类任务。然而，当直接应用现有方法、利用具有大类空间的有监督训练数据学习嵌入模型时，可能会失效。为实现面向大型图像到嵌入特征提取器的用户级 DP，我们提出 DP-FedEmb，一种带有每用户敏感度控制和噪声添加的联邦学习算法变体，用于从数据中心内集中化的用户划分数据中训练。DP-FedEmb 结合虚拟客户端、部分聚合、私有本地微调和公开预训练，以实现强隐私-效用权衡。我们将 DP-FedEmb 应用于训练人脸、地标和自然界物种的图像嵌入模型，并在基准数据集 DigiFace、EMNIST、GLD 和 iNaturalist 上展示了其在相同隐私预算下的优越效用。我们进一步说明，当数百万用户可参与训练时，在控制效用下降在 5% 以内的同时，有可能实现 的强用户级 DP 保证。
引用
@article{arxiv.2211.10844,
title = {Learning to Generate Image Embeddings with User-level Differential Privacy},
author = {Zheng Xu and Maxwell Collins and Yuxiao Wang and Liviu Panait and Sewoong Oh and Sean Augenstein and Ting Liu and Florian Schroff and H. Brendan McMahan},
journal= {arXiv preprint arXiv:2211.10844},
year = {2023}
}
备注
CVPR camera ready. Addressed reviewer comments. Switched from add-or-remove-one DP to substitute-one DP