WOUAF:文本到图像扩散模型中用于用户归属与指纹识别的权重调制
计算机视觉与模式识别
2024-04-25 v3
摘要
生成模型的快速发展使得从文本描述生成超真实图像成为可能,同时也加剧了诸如虚假信息等重大的社会担忧。尽管传统指纹机制提供了一定缓解,但在归责合成图像恶意使用责任方面存在不足。本文引入一种新颖的模型指纹方法,为生成图像分配责任,从而作为模型滥用的潜在对策。我们的方法基于每个用户的唯一数字指纹修改生成模型,将可追溯到用户的唯一标识符印记到生成内容上。该方法将微调融入使用 Stable Diffusion Model 的文本到图像(T2I)任务中,在输出质量影响极小的情况下展示了近乎完美的归属准确率。通过广泛评估,我们表明我们的方法在应对图像后处理方面以平均 11% 的提升优于基线方法。我们的方法为可问责的模型分发与负责任使用提供了一条有前景的新途径。我们的代码可在 \url{https://github.com/kylemin/WOUAF} 获取。
引用
@article{arxiv.2306.04744,
title = {WOUAF: Weight Modulation for User Attribution and Fingerprinting in Text-to-Image Diffusion Models},
author = {Changhoon Kim and Kyle Min and Maitreya Patel and Sheng Cheng and Yezhou Yang},
journal= {arXiv preprint arXiv:2306.04744},
year = {2024}
}
备注
Accepted at CVPR 2024