面向可靠验证的个人化文本到图像扩散模型中的未授权数据用途

文本到图像扩散模型正在推动生成式 AI 在我们生活中能够实现的边界。除了生成常规图像的能力外，还提出了新的个人化技术，用于定制预训练的基础模型以生成具有特定主题或风格的图像。这种轻量级解决方案使 AI 实践者和开发人员能够轻松构建自己的个人化模型，也引发了关于这些个人化模型是否使用未经授权的数据训练的新担忧。一个有前景的解决方案是主动在生成模型中启用数据可追溯性，其中数据所有者在发布数据集前嵌入外部涂层（例如图像水印或后门触发器）。稍后在此类数据集上训练的模型也会学习这些涂层并不经意地在生成的模仿作品中重现它们，这些可以被提取并用作数据用途证据。然而，我们发现现有的涂层无法在个人化任务中有效学习，使得相应的验证不够可靠。本文引入了 SIREN，一种用于在黑箱个人化文本到图像扩散模型中主动追踪未经授权数据用途的新方法。我们的方法以巧妙的方式优化涂层，使其被模型识别为与个人化任务相关的特征，从而显著提高其可学习性。我们还利用人类感知-aware 约束、超球体分类技术和假设检验引导的验证方法来增强涂层的隐身性和检测准确性。通过在多样化的基准数据集、模型和学习算法上的大量实验验证了 SIREN 的有效性。SIREN 在各种实际场景中也有效，并针对潜在的对抗措施进行了评估。我们的代码已公开。