增强扩散模型记忆效应的隐私-实用性权衡
计算机视觉与模式识别
2025-04-28 v1
摘要
文本到图像扩散模型在创建高度符合用户提示的图像方面展现了惊人的能力，但其倾向于记住训练集图像的特性引发了关于生成图像原始性和隐私问题的担忧，可能导致模型拥有者和用户遭受法律纠纷，尤其当记忆图像包含专有内容时。尽管已提出缓解此问题的方法，但增强隐私往往会显著降低输出实用性，如文本对齐评分所示。为填补研究空白，我们引入一种新方法 PRSS，通过整合提示锚定 (PR) 增强隐私性，集成语义提示搜索 (SS) 提升实用性，来细化扩散模型中的无分类器引导方法。广泛的实验在各种隐私水平下均表明，我们的方法始终改善了隐私-实用性权衡，建立了新的国际前沿。
引用
@article{arxiv.2504.18032,
title = {Enhancing Privacy-Utility Trade-offs to Mitigate Memorization in Diffusion Models},
author = {Chen Chen and Daochang Liu and Mubarak Shah and Chang Xu},
journal= {arXiv preprint arXiv:2504.18032},
year = {2025}
}
备注
Accepted at CVPR 2025. Project page: https://chenchen-usyd.github.io/PRSS-Project-Page/