“勿用我名！”：推断扩散模型输入字符串中所用的艺术家姓名
计算机视觉与模式识别
2023-07-26 v1
摘要
扩散模型（DM）在生成逼真、高质量图像方面极为有效。然而，这些模型缺乏创造力，仅基于其训练数据、并在生成时由所给文本输入引导来组合输出。生成让人联想到某位艺术家的图像、并以其姓名作为输入，这是否可接受？这意味着，如果DM能够复现某位艺术家的作品，那么它就是在部分或全部该艺术家的作品上训练的，从而侵犯版权。本文提出一项初步研究，以推断在生成图像的输入字符串中使用某位艺术家姓名的概率。为此，我们仅关注由著名的DALL-E 2生成的图像，并收集了五位知名艺术家的图像（包括原作与生成作）。最后，采用一个专用的连体神经网络（Siamese Neural Network）来得到一种初步概率。实验结果表明，我们的方法是一个最优的起点，并可用作预测所调查图像完整输入字符串的先验。数据集与代码见：https://github.com/ictlab-unict/not-with-my-name 。
引用
@article{arxiv.2307.13527,
title = {Not with my name! Inferring artists' names of input strings employed by Diffusion Models},
author = {Roberto Leotta and Oliver Giudice and Luca Guarnera and Sebastiano Battiato},
journal= {arXiv preprint arXiv:2307.13527},
year = {2023}
}