迈向增强的图像修复：抑制非预期物体插入并保持颜色一致性

图像修复的最新进展越来越多地使用生成模型来处理大面积不规则掩膜。然而，这些模型可能因两个主要问题而产生不真实的修复图像：（1）非预期物体插入：即使将未掩膜区域作为上下文，生成模型仍可能在掩膜区域生成与图像其余部分不协调的任意物体。（2）颜色不一致：修复区域经常出现颜色偏移，导致模糊外观，降低图像质量。重新训练生成模型可能有助于解决这些问题，但成本高昂，因为最先进的基于潜空间的扩散和整流流模型需要三阶段训练过程：训练变分自编码器（VAE）、训练生成式U-Net或Transformer，以及针对修复进行微调。相反，本文提出了一种名为ASUKA（基于未知区域先验的对齐稳定修复）的后处理方法，以改进修复模型。为解决非预期物体插入问题，我们利用掩膜自编码器（MAE）提供基于重建的先验。这减轻了物体幻觉，同时保持了模型的生成能力。为解决颜色不一致问题，我们提出了一种专用的VAE解码器，将潜空间到图像的解码视为局部协调任务，显著减少了颜色偏移，从而实现颜色一致的修复。我们在SD 1.5和FLUX修复变体上，使用Places2和我们提出的多样化数据集集合MISATO验证了ASUKA。结果表明，与标准扩散和整流流模型以及其他修复方法相比，ASUKA减轻了物体幻觉并改善了颜色一致性。