调整初始噪声以缓解文本到图像扩散模型中的记忆化问题
计算机视觉与模式识别
2025-10-13 v1
摘要
尽管文本到图像扩散模型在生成能力方面取得了显著进展，但常会记忆并复制训练数据，这引发了严重的隐私和版权担忧。近期研究将此记忆化归因于“吸引盆地”——即在分类器自由指导（CFG）作用下，去噪轨迹被引向记忆化输出的区域——并提出推迟CFG应用以避开此盆地。然而此类延迟会导致生成图像与输入提示语不匹配，凸显了亟需促进更早逃离盆地以便更早应用CFG的需求。本文证明，初始噪声样本在决定逃离时机中起关键作用。我们经验性地观察到，不同初始样本导致逃离时间差异。基于此洞察，我们提出两种缓解策略：分别或 individually 调整初始噪声，以寻找并利用鼓励更早逃离盆地的初始样本。这两种方法显著降低记忆化程度，同时保持图像-文本对齐。
引用
@article{arxiv.2510.08625,
title = {Adjusting Initial Noise to Mitigate Memorization in Text-to-Image Diffusion Models},
author = {Hyeonggeun Han and Sehwan Kim and Hyungjun Joo and Sangwoo Hong and Jungwoo Lee},
journal= {arXiv preprint arXiv:2510.08625},
year = {2025}
}