通过通用化标题与双重融合增强缓解扩散模型的复现与复制
计算机视觉与模式识别
2024-01-25 v4 密码学与安全
摘要
尽管扩散模型展现出生成高质量图像的卓越能力，但其“复现”训练数据的倾向引发了隐私担忧。尽管近期研究表明该复现可能源于训练数据标题泛化不足与训练图像重复，有效的缓解策略仍不明朗。为弥补此不足，本文首先引入衡量标题通用性的通用性分数，并采用大语言模型（LLM）对训练标题进行通用化。随后，我们利用通用化标题并提出一种新颖的双重融合增强方法来缓解扩散模型的复现。我们的实证结果表明，相较于原始扩散模型，所提方法可将复现显著降低 43.5%，同时保持生成的多样性与质量。代码见 https://github.com/HowardLi0816/dual-fusion-diffusion。
引用
@article{arxiv.2309.07254,
title = {Mitigate Replication and Copying in Diffusion Models with Generalized Caption and Dual Fusion Enhancement},
author = {Chenghao Li and Dake Chen and Yuke Zhang and Peter A. Beerel},
journal= {arXiv preprint arXiv:2309.07254},
year = {2024}
}
备注
This paper has been accepted for presentation at 2024 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2024)