利用空间分离注意力模块改善合成图像协调性

图像合成是图像处理中最重要的应用之一。然而，拼接区域与背景之间不协调的外观会降低图像质量。因此，我们着手解决图像协调化问题：给定一张拼接图像和拼接区域的掩码，我们试图将粘贴区域的“风格”与背景（非拼接区域）相协调。先前的方法一直聚焦于通过神经网络直接学习。在本工作中，我们从一项经验观察出发：在拼接图像与协调化结果之间，差异仅存在于拼接区域，而二者在非拼接区域共享相同的语义信息和外观。因此，为了分别学习掩码区域与其他区域的特征图，我们提出了一种名为空间分离注意力模块（Spatial-Separated Attention Module, S2AM）的新型注意力模块。此外，我们以两种不同方式将 S2AM 插入 Unet 结构的较粗低层特征中，设计了一种新颖的图像协调化框架。除图像协调化外，基于前述观察，我们在无特定掩码的情况下对合成图像协调化迈出了重要一步。实验表明，在所提任务中，S2AM 优于其他最先进的注意力模块。此外，我们从多个角度通过评判标准展示了我们的模型相对于其他最先进图像协调化方法的优势。代码见 https://github.com/vinthony/s2am。