通过嵌入引导避免生成模型的创作瓶颈

自问世以来，生成式图像模型已成为一种全球现象。从实现新的艺术形式到产生新的滥用途径，许多新功能已成为可能。生成式模型面临的挑战性问题之一是控制生成过程，特别是防止生成特定的类别或实例。人们可能希望控制生成模型输出的原因有多种，从隐私和安全问题到应用限制或用户偏好。为了解决记忆和隐私挑战，已有大量研究致力于过滤提示或过滤这些模型的输出。所有这些解决方案的共同点是，它们最终会阻止模型生成任何内容，从而限制了模型的可用性。在本文中，我们提出了一种解决此可用性问题的方法，该方法使得在检测到模型输出中存在不需要的概念时能够避开它们，同时仍然生成输出。我们特别关注潜在扩散图像生成模型，以及如何防止它们生成特定图像，同时以有限的开销生成相似的图像。我们专注于缓解图像记忆等问题，通过定性和定量评估证明了我们技术的有效性。我们的方法成功阻止了记忆训练图像的生成，同时保持了与未修改模型相当的图像质量和相关性。