从扩散模型中提取训练数据
密码学与安全
2023-01-31 v1 计算机视觉与模式识别
机器学习
摘要
DALL-E 2、Imagen与Stable Diffusion等图像扩散模型因能生成高质量合成图像而备受关注。本工作中,我们表明扩散模型会记忆训练数据中的个体图像并在生成时输出它们。通过生成-过滤流水线,我们从最先进模型中提取了超过一千个训练样本,范围从个人照片到商标公司标志。我们还训练了数百个不同设置下的扩散模型,以分析不同建模与数据决策如何影响隐私。总体而言,我们的结果表明扩散模型的隐私性远差于此前的生成模型(如GANs),且缓解这些漏洞可能需要隐私保护训练方面的新进展。
引用
@article{arxiv.2301.13188,
title = {Extracting Training Data from Diffusion Models},
author = {Nicholas Carlini and Jamie Hayes and Milad Nasr and Matthew Jagielski and Vikash Sehwag and Florian Tramèr and Borja Balle and Daphne Ippolito and Eric Wallace},
journal= {arXiv preprint arXiv:2301.13188},
year = {2023}
}