通过草图引导的双向特征交互恢复部分损坏物体

文本引导的扩散模型通过文本提示提供高级语义指导，在物体修复任务中取得了显著成功。然而，它们通常缺乏精确的像素级空间控制，尤其是在涉及仍保留关键未损坏线索的部分损坏物体场景中。为克服这一局限性，目前已引入了草图引导方法，通过间接梯度调制或直接草图注入来改善结构控制。然而，现有方法通常仅建立从草图到掩码区域的单向映射，忽略了来自未掩码物体区域的上下文信息。这导致草图与未损坏内容之间脱节，从而引起草图引导的不一致性和结构不匹配。为应对这一挑战，我们提出了一种基于预训练 Stable Diffusion 模型构建的草图引导双向特征交互框架。我们的双向交互具有两个互补方向：上下文到草图和草图到修复，能够对部分损坏物体修复实现细粒度的空间控制。在上下文到草图方向，来自未损坏物体区域的多尺度潜变量被传播到草图分支，以生成一个视觉掩码，使草图特征适应可见上下文和去噪进度。在草图到修复方向，草图条件的仿射变换根据学习到的视觉掩码调制草图引导的影响，确保与未损坏物体内容的一致性。这种交互在扩散 U-Net 的编码器内以多个尺度应用，使模型能够以增强的空间保真度恢复物体结构。在两个新构建的基准数据集上的广泛实验表明，我们的方法优于现有最先进方法。