面向文本到图像扩散模型的水印技术鲁棒性研究
密码学与安全
2024-11-05 v2
摘要
水印技术已成为一种有前景的技术，不仅有助于识别AI生成的图像，还可作为防止不道德使用这些模型的手段。然而，近期对水印技术鲁棒性的研究并不充分。本文研究了由文本到图像生成模型（如潜在扩散模型）集成水印嵌入和文本到图像生成处理而创建的生成式水印的鲁棒性。具体而言，我们提出了三种攻击方法，即基于判别器的攻击、基于边缘预测的攻击和基于微调的攻击，针对水印解码器不可访问的场景进行设计。该模型被允许进行微调，以便为特定的生成任务进行个人化或专业化。我们发现，生成式水印技术对直接规避攻击（如基于判别器的攻击）或基于边缘信息的操纵（如基于边缘预测的攻击）具有鲁棒性，但对恶意微调较为脆弱。实验结果表明，我们的基于微调的攻击可将水印检测准确率降至近67.92%。此外，我们对水印消息长度、编码器/解码器深度和结构进行消融研究，以识别影响基于微调攻击性能的关键因素。
引用
@article{arxiv.2408.02035,
title = {Robustness of Watermarking on Text-to-Image Diffusion Models},
author = {Xiaodong Wu and Xiangman Li and Jianbing Ni},
journal= {arXiv preprint arXiv:2408.02035},
year = {2024}
}
备注
We find an error in one of the proposed attack methods, which significantly impact the correctness. In addition, the experiment is not solid enough to support the results