面向扩散模型恶意个性化攻击的实时身份防御
计算机视觉与模式识别
2025-01-22 v2
摘要
能够基于少量参考肖像合成高度逼真图像的个性化生成扩散模型，可能通过身份复制带来重大的社会、伦理和法律风险。现有的防御机制依赖于针对单张图像的计算密集型对抗扰动，使其不适用于实际部署。本研究引入了实时身份防御器（RID），一种旨在通过单次前向传播生成对抗扰动的神经网络，无需图像特定优化。RID实现了前所未有的效率，在单块NVIDIA A100 80G GPU上防御时间低至0.12秒（比领先方法快4400倍），在标准Intel i9 CPU上每张图像1.1秒，使其适用于智能手机等边缘设备。尽管效率如此之高，RID在视觉和定量基准测试上仍实现了有前景的保护性能，有效缓解了身份复制风险。我们的分析表明，RID的扰动模仿了传统防御的有效性，同时展现出与自然噪声（如高斯扰动）不同的特性。为增强鲁棒性，我们将RID扩展为集成框架，整合多个预训练的文本到图像扩散模型，确保对黑盒攻击和后处理技术（包括图像压缩和净化）的韧性。我们的模型有望在保护肖像权方面发挥关键作用，从而防止非法和不道德的使用。
引用
@article{arxiv.2412.09844,
title = {Real-time Identity Defenses against Malicious Personalization of Diffusion Models},
author = {Hanzhong Guo and Shen Nie and Chao Du and Tianyu Pang and Hao Sun and Chongxuan Li},
journal= {arXiv preprint arXiv:2412.09844},
year = {2025}
}
备注
21 pages, 7 figures (RID)