CPSample：用于保护扩散模型训练数据的数字分类保护采样
机器学习
2024-09-12 v1
摘要
扩散模型倾向于精确复制其训练数据，尤其是在小数据集上训练时。大多数先前工作通过施加差分隐私约束或屏蔽训练数据的部分内容来缓解此问题，但会显著降低图像质量。我们提出了 CPSample 方法，通过修改采样过程来防止训练数据复制，同时保持图像质量。CPSample 利用一个在训练数据上附加随机二进制标签并过拟合的分类器。CPSample 然后使用分类器引导生成过程远离可被高置信度分类的点集合（该集合包括训练数据）。在 CIFAR-10 和 CelebA-64 上，CPSample 分别实现了 4.97 和 2.97 的 FID 分数，且未产生训练数据的精确复制品。不同于旨在保护训练图像的先前方法，CPSample 只需训练一个分类器，而无需重新训练扩散模型，计算成本更低。此外，我们的技术为扩散模型提供了更强的对成员推断攻击的鲁棒性——攻击者尝试判定哪些图像出现在模型训练数据集中。我们展示了 CPSample 类似于内置的拒绝采样器，并演示了其防止 Stable Diffusion 模式坍缩的能力。
引用
@article{arxiv.2409.07025,
title = {CPSample: Classifier Protected Sampling for Guarding Training Data During Diffusion},
author = {Joshua Kazdan and Hao Sun and Jiaqi Han and Felix Petersen and Stefano Ermon},
journal= {arXiv preprint arXiv:2409.07025},
year = {2024}
}