CAPTAIN：用于记忆抑制的文本到图像扩散模型语义特征注入
人工智能
2025-12-12 v1
摘要
扩散模型在不经意间再现训练示例，使得日益增大的系统在部署时引发隐私和版权担忧。现有的推理时抑制方法通常操作无分类引导（CFG）或扰动提示嵌入；然而，这些方法往往在不损害与条件提示对齐的情况下难以有效减少记忆。我们引入 CAPTAIN，一个无训练的框架，通过在去噪期间直接修改潜在特征来抑制记忆。CAPTAIN 首先应用基于频率的噪声初始化，以减少早期去噪过程中复制记忆模式的倾向。随后，CAPTAIN 识别特征注入的最佳去噪时间步，并局部化记忆区域。最后，CAPTAIN 将来自非记忆参考图像的语义一致特征注入到局部化的潜在区域，从而抑制记忆，同时保持提示忠实性和视觉质量。我们的实验表明，CAPTAIN 在不损害提示意图对齐的情况下，实现了相对于基于 CFG 的基线的显著记忆减少。
引用
@article{arxiv.2512.10655,
title = {CAPTAIN: Semantic Feature Injection for Memorization Mitigation in Text-to-Image Diffusion Models},
author = {Tong Zhang and Carlos Hinojosa and Bernard Ghanem},
journal= {arXiv preprint arXiv:2512.10655},
year = {2025}
}