文本到图像扩散模型中的连续概念移除
计算机视觉与模式识别
2025-01-16 v2
摘要
文本到图像扩散模型已展现出从输入文本描述生成高质量图像的惊人能力。然而，人们对这些模型可能生成侵犯版权或描绘令人不安主题内容的潜在风险提出了担忧。从这些模型中移除特定概念是一种有前景的解决方案。然而，现有的概念移除方法在概念需要连续移除的实际但具有挑战性的情况下表现不佳。具体而言，这些方法在连续移除过程后导致文本提示与生成图像之间的对齐度较差。为解决此问题，我们提出了一种名为CCRRT的新方法，包括设计的知识蒸馏范式。它通过我们所设计的遗传算法生成的一组文本提示来约束连续概念移除过程中的文本-图像对齐行为。我们进行了涉及各种概念移除的大量实验。通过算法指标和人类研究评估的结果表明，CCRRT能够有效地以连续方式移除目标概念，同时保持模型的高生成质量（例如文本-图像对齐度）。
引用
@article{arxiv.2412.00580,
title = {Continuous Concepts Removal in Text-to-image Diffusion Models},
author = {Tingxu Han and Weisong Sun and Yanrong Hu and Chunrong Fang and Yonglong Zhang and Shiqing Ma and Tao Zheng and Zhenyu Chen and Zhenting Wang},
journal= {arXiv preprint arXiv:2412.00580},
year = {2025}
}