DP-RDM：无需微调即可使扩散模型适应私有领域
机器学习
2024-05-14 v3 密码学与安全
计算机视觉与模式识别
摘要
文本到图像的扩散模型已被证明存在样本级记忆问题，可能会再现其训练数据中近乎完美的图像副本，这或许是不受欢迎的。为了解决这个问题，我们开发了首个差分隐私（DP）检索增强生成算法，该算法能够生成高质量的图像样本，同时提供可证明的隐私保证。具体来说，我们假设可以访问一个在少量公开数据上训练的文本到图像扩散模型，并设计了一个差分隐私检索机制，用从私有检索数据集中检索到的样本来增强文本提示。我们的差分隐私检索增强扩散模型（DP-RDM）无需在检索数据集上进行微调即可适应另一个领域，并且可以使用最先进的生成模型生成高质量的图像样本，同时满足严格的差分隐私保证。例如，在 MS-COCO 上评估时，我们的 DP-RDM 可以在隐私预算为 的情况下生成样本，与仅使用公开检索相比，在多达 次查询时，FID 指标提升了 个点。
引用
@article{arxiv.2403.14421,
title = {DP-RDM: Adapting Diffusion Models to Private Domains Without Fine-Tuning},
author = {Jonathan Lebensold and Maziar Sanjabi and Pietro Astolfi and Adriana Romero-Soriano and Kamalika Chaudhuri and Mike Rabbat and Chuan Guo},
journal= {arXiv preprint arXiv:2403.14421},
year = {2024}
}