中文

扰动模型而非图像:基于反个人化扩散模型的鲁棒隐私保护

计算机视觉与模式识别 2025-11-04 v1 人工智能

摘要

近期扩散模型的进展使我们能够高质量地合成特定主体(如身份或物体)。这种能力虽然为内容创造开辟了新可能,但也带来显著隐私风险,因为个人化技术可能被恶意用户滥用以生成未经授权的内容。虽然已有研究尝试通过生成对抗性扰动样本来抵消这种风险,但这些方法依赖不切实际的假设,在面对少量干净图像或简单图像变换时便失效。为此,我们将保护目标从图像转向扩散模型本身,以阻止特定主体的个人化,提出名为 Anti-Personalized Diffusion Models(APDM)的新型框架。我们首先提供理论分析,表明现有损失函数对扩散模型的朴素方法在确保稳健反个人化收敛方面本质上不可行。基于此发现,我们引入 Direct Protective Optimization(DPO),一种有效干扰目标模型中特定主体个人化的新型损失函数,而不影响生成质量。此外,我们提出一种新的双路径优化策略,称为 Learning to Protect(L2P)。通过在个人化路径和保护路径之间交替,L2P 模拟未来个人化轨迹,并在每一步中自适应强化保护。实验结果表明,我们的框架在防止未授权个人化方面超越了现有方法,实现了最先进的性能。代码已公开于 https://github.com/KU-VGI/APDM。

关键词

引用

@article{arxiv.2511.01307,
  title  = {Perturb a Model, Not an Image: Towards Robust Privacy Protection via Anti-Personalized Diffusion Models},
  author = {Tae-Young Lee and Juwon Seo and Jong Hwan Ko and Gyeong-Moon Park},
  journal= {arXiv preprint arXiv:2511.01307},
  year   = {2025}
}

备注

26 pages, 9 figures, 16 tables, NeurIPS 2025