基于条件似然差异的文本到图像扩散模型成员推理

文本到图像扩散模型在可控图像生成领域取得了巨大成功，同时也带来了隐私泄露和数据版权问题。成员推理在这些情境中作为一种潜在的审计方法出现，用于检测未经授权的数据使用。尽管在扩散模型上已有一些努力，但由于高计算开销和增强的泛化能力，它们不适用于文本到图像扩散模型。在本文中，我们首先识别了文本到图像扩散模型中的条件过拟合现象，表明这些模型倾向于过拟合给定相应文本的图像条件分布，而非仅图像的边缘分布。基于这一观察，我们推导出一个分析指标，即条件似然差异（CLiD），用于执行成员推理，该指标减少了估计单个样本记忆化时的随机性。实验结果表明，我们的方法在各种数据分布和数据集规模上显著优于先前的方法。此外，我们的方法对过拟合缓解策略（如早停和数据增强）表现出优越的抵抗性。