Robust-Wide：针对指令驱动图像编辑的鲁棒水印
密码学与安全
2024-07-18 v3
摘要
指令驱动的图像编辑允许用户通过前向传播根据文本指令快速编辑图像。然而，恶意用户可以轻易利用该技术生成虚假图像，这可能引发信任危机并损害原始图像所有者的权益。水印是追踪此类恶意行为的常见解决方案。不幸的是，指令驱动的图像编辑会在语义层面显著改变水印图像，使得当前最先进的水印方法失效。为弥补这一缺陷，我们提出了 Robust-Wide，这是第一种针对指令驱动图像编辑的鲁棒水印方法。具体而言，我们遵循深度鲁棒水印的经典结构，包括编码器、噪声层和解码器。为实现对语义失真的鲁棒性，我们引入了一种新颖的部分指令驱动去噪采样引导 (PIDSG) 模块，该模块包含多种指令注入以及在不同语义层面对图像的大量修改。借助 PIDSG，编码器倾向于将水印嵌入到更鲁棒且具备语义感知的区域，即使在严重的图像编辑后仍能存在。实验表明，Robust-Wide 能够从编辑后的图像中有效提取水印，对于 64 位水印消息，其比特错误率低至约 2.6%。同时，它仅对原始图像的视觉质量和可编辑性产生可忽略的影响。此外，Robust-Wide 针对不同的采样配置以及其他流行的图像编辑方法（如 ControlNet-InstructPix2Pix、MagicBrush、Inpainting 和 DDIM Inversion）具有普遍的鲁棒性。代码和模型可在 https://github.com/hurunyi/Robust-Wide 获取。
引用
@article{arxiv.2402.12688,
title = {Robust-Wide: Robust Watermarking against Instruction-driven Image Editing},
author = {Runyi Hu and Jie Zhang and Ting Xu and Jiwei Li and Tianwei Zhang},
journal= {arXiv preprint arXiv:2402.12688},
year = {2024}
}
备注
European Conference on Computer Vision (ECCV) 2024