面向未授权主体驱动图像合成的生成式水印
计算机视觉与模式识别
2023-06-14 v1 密码学与安全
摘要
大型文本到图像模型在合成高质量图像方面表现出卓越性能。特别地，主体驱动模型通过对通用文本到图像模型用来自特定主体(如人脸或艺术风格)的少量图像微调，可实现针对该特定主体的个性化图像合成。然而，主体驱动图像合成的滥用可能侵犯主体所有者的权益。例如，恶意用户可能未经授权使用主体驱动合成来模仿特定艺术风格或生成虚假人脸图像。为保护主体所有者免受此类滥用，近期尝试通常依赖对抗样本无差别地破坏主体驱动图像合成。但这本质上阻止了基于受保护图像的主体驱动合成的任何良性使用。本文从另一角度入手，旨在不牺牲受保护图像用于通用合成用途效用的前提下提供保护。具体而言，我们提出GenWatermark，一种基于联合学习水印生成器与检测器的新型水印系统。特别地，为帮助水印在主体驱动合成中存活，我们将合成过程纳入GenWatermark的学习中，通过对特定主体用合成图像微调检测器。该操作被证明大幅提升了水印检测准确率，并确保了每个个体主体水印的唯一性。大量实验验证了GenWatermark的有效性，尤其在未知模型与文本提示(74%准确率)以及部分数据水印(1/4水印下80%准确率)的实际场景中。我们还展示了GenWatermark对两种会大幅降低合成质量的潜在对抗措施的鲁棒性。
引用
@article{arxiv.2306.07754,
title = {Generative Watermarking Against Unauthorized Subject-Driven Image Synthesis},
author = {Yihan Ma and Zhengyu Zhao and Xinlei He and Zheng Li and Michael Backes and Yang Zhang},
journal= {arXiv preprint arXiv:2306.07754},
year = {2023}
}