基于区域对比学习的图像协调

图像协调任务旨在根据特定的背景图像对不同的合成前景区域进行协调。以往的方法更倾向于通过注意力、自适应归一化和光照调整等内部增强手段来提升生成器的重建能力。然而，它们较少关注在受限生成器内区分前景与背景的外观特征，这成为图像协调任务中的新挑战。本文提出一种新颖的图像协调框架，采用外部风格融合与区域对比学习方案。在外部风格融合方面，我们利用编码器提取的外部背景外观作为风格参考，在解码器中生成协调后的前景，该方法通过外部背景引导增强了解码器的协调能力。此外，针对对比学习方案，我们为图像协调任务设计了一种区域对比损失函数。具体而言，我们首先引入一种直接的样本生成方法，从输出的协调前景区域中选取负样本，从真实背景区域中选取正样本。我们的方法试图通过最大化前景与背景风格之间的互信息，将对应的正负样本拉拢，从而使协调网络在协调合成图像时更能鲁棒地区分前景与背景风格特征。在基准数据集上的大量实验表明，我们的方法在协调质量上取得明显提升，并展现出在真实场景应用中的良好泛化能力。