MarkPlugger：面向潜在扩散模型免重训练的可泛化水印框架
计算机视觉与模式识别
2025-10-14 v2
摘要
如今，潜在扩散模型（LDMs）家族因其高质量的输出和可扩展性而备受瞩目。这也引发了社交媒体上的安全担忧，因为恶意用户可以创建并传播有害内容。现有方法通常涉及训练特定组件或整个生成模型，以在生成的图像中嵌入水印，从而实现可追溯性和问责。然而，在快速发展的AI生成内容（AIGC）时代，LDMs的快速迭代和修改使得使用水印模型进行重训练成本高昂。为了解决这一问题，我们提出了MarkPlugger，一个无需LDM重训练的可泛化即插即用水印框架。具体而言，为了减少水印对生成图像语义的干扰，我们试图寻找一种在潜在空间中与语义接近正交的水印表示，并对水印和语义应用加性融合策略。在不修改LDMs任何组件的情况下，我们在潜在空间中嵌入多种水印，以适应去噪过程。我们的实验结果表明，该方法有效地平衡了图像质量与水印恢复率。我们还验证了该方法可泛化至LDMs的多个官方版本和修改变体，甚至无需重训练水印模型。此外，该方法在不同强度的各种攻击下均表现出鲁棒性。
引用
@article{arxiv.2404.05607,
title = {MarkPlugger: Generalizable Watermark Framework for Latent Diffusion Models without Retraining},
author = {Guokai Zhang and Lanjun Wang and Yuting Su and An-An Liu},
journal= {arXiv preprint arXiv:2404.05607},
year = {2025}
}
备注
IEEE Transactions on Multimedia 2025