检索增强的图像协调

当将物体（前景）嵌入图像（背景）时，考虑到光照等摄影条件的影响，通常需要进行图像协调，使前景物体在亮度、颜色等方面与背景图像协调。尽管现有的图像协调方法一直在努力追求视觉上令人满意的结果，但它们仍然受到两个主要问题的困扰。首先，当背景中没有与前景物体相似的内容时，图像协调变得高度不适定，使得协调结果不可靠。其次，即使有相似的内容，协调过程也常常受到无关区域的干扰，这主要归因于对图像内容的理解不足和注意力不准确。作为补救措施，我们提出了一种检索增强的图像协调（Raiha）框架，该框架寻找合适的参考图像以减少不适定性，并限制注意力以更好地利用有用信息。具体来说，设计了一种高效的检索方法来查找包含与前景相似物体且光照与背景一致的参考图像。为了训练Raiha框架有效利用参考信息，巧妙地设计了一种数据增强策略，利用现有的无参考图像协调数据集。此外，引入了图像内容先验以确保合理的注意力。通过提出的Raiha框架，在无参考和检索增强设置下，图像协调性能都得到了极大提升。源代码和预训练模型将公开。