面向隐私与版权保护的真实世界文本到图像扩散模型数据源审计
计算机视觉与模式识别
2025-06-16 v1
摘要
文本到图像扩散模型自提出以来因其惊人的生成能力而在内容创作领域产生了重大影响。然而，这一能力依赖于从社交媒体等网络平台收集的大规模文本图像数据集，这在版权合规和个人隐私泄露方面提出了重大挑战。虽然已有一些努力致力于探索文本到图像扩散模型数据来源审计的方法，但现有工作的假设往往不切实际，即可以获取模型内部知识（如中间结果），或评估不可靠。为填补这一空白，我们提出了一种完全黑箱审计框架，称为基于特征语义一致性审计（FSCA）。它利用文本到图像扩散模型中两种语义连接，用于审计，无需访问内部知识。为展示FSCA框架的有效性，我们在LAION-mi数据集和COCO数据集上进行了大量实验，并与八种最先进的基线方法进行了比较。结果表明，FSCA在各种指标和不同数据分布下均超越了以前的基线方法，凸显了FSCA的优越性。此外，我们引入了一种召回率平衡策略和一种阈值调整策略，这两者共同使FSCA在仅使用10个样本/用户的真实世界审计场景中达到最高可达90%的用户级准确率，凸显了其在真实世界应用中的强大审计潜力。我们的代码已公开于https://github.com/JiePKU/FSCA。
引用
@article{arxiv.2506.11434,
title = {Auditing Data Provenance in Real-world Text-to-Image Diffusion Models for Privacy and Copyright Protection},
author = {Jie Zhu and Leye Wang},
journal= {arXiv preprint arXiv:2506.11434},
year = {2025}
}
备注
Under Review; A user-level accuracy of 90% in a real-world auditing scenario