MetaCloak:通过元学习防止未授权的主体驱动文本到图像扩散合成
计算机视觉与模式识别
2024-04-30 v5 人工智能
密码学与安全
摘要
文本到图像扩散模型可从少量参考照片无缝生成个性化图像。然而,这些工具若被滥用,会捏造误导性或有害内容,危及个人。为解决此问题,现有基于投毒的方法以不可感知的方式扰动用户图像,使其对恶意使用而言“不可学习”。我们指出这些防御方法的两个局限:i) 由于用手工启发式求解难处理的双层优化而次优;ii) 缺乏对抗高斯滤波等简单数据变换的鲁棒性。为解决这些挑战,我们提出 MetaCloak,它用元学习框架求解双层投毒问题,并辅以额外的变换采样过程以制造可迁移且鲁棒的扰动。具体而言,我们采用一组代理扩散模型来制造可迁移且与模型无关的扰动。此外,通过引入额外的变换过程,我们设计了一个简单的去噪误差最大化损失,足以在个性化生成中造成变换鲁棒的语义失真与退化。在 VGGFace2 和 CelebA-HQ 数据集上的大量实验表明 MetaCloak 优于现有方法。值得注意的是,MetaCloak 能以黑盒方式成功欺骗 Replicate 等在线训练服务,展示了其在真实场景中的有效性。我们的代码可在 https://github.com/liuyixin-louis/MetaCloak 获取。
引用
@article{arxiv.2311.13127,
title = {MetaCloak: Preventing Unauthorized Subject-driven Text-to-image Diffusion-based Synthesis via Meta-learning},
author = {Yixin Liu and Chenrui Fan and Yutong Dai and Xun Chen and Pan Zhou and Lichao Sun},
journal= {arXiv preprint arXiv:2311.13127},
year = {2024}
}
备注
Accepted to CVPR 2024 (Oral)