检测文本到图像合成中 Stable Diffusion 模型微调的数据集滥用
计算机视觉与模式识别
2024-09-30 v1
摘要
文本到图像合成在生成逼真和风格化图像方面变得非常流行，通常需要使用特定领域的数据集对生成模型进行微调以完成专门任务。然而，这些有价值的数据集面临未经授权使用和未经批准共享的风险，从而损害了所有者的权益。在本文中，我们探讨了文本到图像合成的 Stable Diffusion 模型微调过程中的数据集滥用问题。我们提出了一个数据集水印框架，旨在检测未经授权的使用并追踪数据泄露。该框架在多种水印方案中采用了两项关键策略，对大规模数据集授权行之有效。大量实验证明了该框架的有效性、对数据集的极小影响（仅需修改 2% 的数据即可实现高检测精度），以及追踪数据泄露的能力。我们的结果还突显了该框架的鲁棒性和可迁移性，证明了其在检测数据集滥用方面的实际适用性。
引用
@article{arxiv.2409.18897,
title = {Detecting Dataset Abuse in Fine-Tuning Stable Diffusion Models for Text-to-Image Synthesis},
author = {Songrui Wang and Yubo Zhu and Wei Tong and Sheng Zhong},
journal= {arXiv preprint arXiv:2409.18897},
year = {2024}
}