FilterPrompt：一种简单而高效的扩散模型图像外观迁移引导方法

在可控生成任务中，基于单个输入图像线索灵活地操控生成图像以获得期望的外观或结构仍然是一个关键且长期存在的挑战。实现这一目标需要有效解耦输入图像数据中的关键属性以获得准确的表示。以往的工作主要集中在特征空间内解耦图像属性。然而，真实世界数据中存在的复杂分布往往使得此类解耦算法难以应用于其他数据集。此外，对特征编码的控制粒度常常无法满足特定任务需求。在审视各种生成模型的特性后，我们观察到扩散模型的输入敏感性和动态演化特性可以与像素空间中的显式分解操作有效融合。这使得我们在像素空间中设计和使用的操作能够对生成结果中的特定表示实现所需的控制效果。因此，我们提出FilterPrompt，一种增强可控生成效果的方法。它可以普遍应用于任何扩散模型，允许用户根据任务需求调整特定图像特征的表示，从而促进更精确和可控的生成结果。特别是，我们设计的实验表明，FilterPrompt优化了特征相关性，减轻了生成过程中的内容冲突，并增强了可控生成的效果。