QS-Attn：用于无配对图像到图像翻译中对比学习的查询选择注意力
计算机视觉与模式识别
2022-03-17 v1
摘要
无配对图像到图像（I2I）翻译常需最大化不同域间源图像与翻译后图像的互信息，这对生成器保留源内容、避免不必要修改至关重要。自监督对比学习已成功应用于 I2I 中。通过约束同一位置的特征比不同位置的特征更相近，它隐式地确保结果从源中摄取内容。然而，已有工作使用随机位置的特征施加约束，这可能并不恰当，因为某些位置包含的源域信息较少。此外，特征本身并不反映与其他特征的关系。本文通过有意选取显著的锚点进行对比学习来解决这些问题。我们设计了查询选择注意力（QS-Attn）模块，该模块比较源域中的特征距离，给出每行具有概率分布的注意力矩阵。随后我们根据由该分布计算出的显著性度量选取查询，被选出的查询作为对比损失的锚点。同时，约简后的注意力矩阵被用于路由两域中的特征，从而使源关系在合成中得以保持。我们在三个不同的 I2I 数据集上验证了所提方法，表明其可在不增加可学习参数的情况下提升图像质量。
引用
@article{arxiv.2203.08483,
title = {QS-Attn: Query-Selected Attention for Contrastive Learning in I2I Translation},
author = {Xueqi Hu and Xinyue Zhou and Qiusheng Huang and Zhengyi Shi and Li Sun and Qingli Li},
journal= {arXiv preprint arXiv:2203.08483},
year = {2022}
}
备注
Accepted by CVPR 2022