视觉扩散模型中的复制现象：综述与展望
计算机视觉与模式识别
2024-10-23 v1 人工智能
计算机与社会
摘要
视觉扩散模型已彻底革新了创意 AI 领域，产生高质量且多样化的内容。然而，它们不可避免地会记忆训练图像或视频，随后在推理时复制其概念、内容或风格。这一现象引发了关于生成输出中隐私、安全和版权的重大关切。本综述提供了关于视觉扩散模型复制现象的首个全面综述，作为该领域的新型贡献，通过系统性地将现有研究归类为揭示、理解和缓解该现象。具体而言，揭示主要指用于检测复制实例的方法；理解涉及分析导致该现象产生的底层机制和因素；缓解聚焦于开发减少或消除复制的策略。除上述方面外，我们还综述了关注其实际影响的论文。例如，在医疗保健领域，由于与患者数据相关的隐私问题，复制现象尤为令人关切。最后，本文以讨论正在进行的挑战，如检测和基准测试的困难程度，并勾勒出未来方向，包括发展更稳健的缓解技术。通过综合多样化研究的见解，本文旨在为研究人员和实践者提供关于 AI 技术与社会福祉之间关系的更深入理解。该项目已在 https://github.com/WangWenhao0716/Awesome-Diffusion-Replication 上发布。
引用
@article{arxiv.2408.00001,
title = {Replication in Visual Diffusion Models: A Survey and Outlook},
author = {Wenhao Wang and Yifan Sun and Zongxin Yang and Zhengdong Hu and Zhentao Tan and Yi Yang},
journal= {arXiv preprint arXiv:2408.00001},
year = {2024}
}
备注
The first survey focuses on replication in visual diffusion models. This work has been submitted to the IEEE for possible publication