ArtistAuditor：用于审计文本到图像生成模型中的艺术家风格盗版
计算机视觉与模式识别
2025-04-18 v1 密码学与安全
机器学习
摘要
基于扩散过程的文本到图像模型（如DALL-E、Stable Diffusion和Midjourney）能够将文本转化为详细图像，并在艺术和设计领域具有广泛应用。因此，业余用户可以通过收集某位艺术家的作品并对模型进行微调来轻易仿造专业水平的绘画，这引发了对艺术品版权侵权的关注。为解决这些问题，先前研究要么向艺术品添加视觉上难以察觉的扰动以改变其底层风格（扰动方法），要么在艺术品中嵌入可检测的水印（水印方法）。然而，当艺术品或模型已在线上发布时（即无法修改原始艺术品或重新训练模型），上述策略可能不可行。为此，我们提出一种用于文本到图像生成模型的数据使用审计方法。ArtistAuditor的基本思想是通过分析与风格相关的特征来识别可疑模型是否使用了特定艺术家的作品进行微调。具体而言，ArtistAuditor采用风格提取器获取多粒度风格表征，将艺术品视为艺术家风格的抽样。随后，ArtistAuditor查询训练好的判别器以获得审计决策。实验结果表明，在六组模型和数据集的组合上，ArtistAuditor可实现高于0.937的AUC值。通过研究ArtistAuditor的迁移性和核心模块，我们提供了实用实现的宝贵见解。最后，我们在线上平台场景中展示了ArtistAuditor的实际效果。ArtistAuditor已开源于https://github.com/Jozenn/ArtistAuditor。
引用
@article{arxiv.2504.13061,
title = {ArtistAuditor: Auditing Artist Style Pirate in Text-to-Image Generation Models},
author = {Linkang Du and Zheng Zhu and Min Chen and Zhou Su and Shouling Ji and Peng Cheng and Jiming Chen and Zhikun Zhang},
journal= {arXiv preprint arXiv:2504.13061},
year = {2025}
}
备注
To appear in the ACM Web Conference 2025, Sydney, Australia