探索对比学习中的负样本用于非配对图像到图像翻译

非配对图像到图像翻译旨在寻找源域与目标域之间的映射。为缓解源图像缺乏监督标签的问题，基于循环一致性的方法被提出，通过假设非配对图像间可逆关系来保持图像结构。然而，该假设仅利用了图像对之间有限的对应关系。近来，对比学习（CL）通过基于块的正/负样本学习被用于进一步探究非配对图像翻译中的图像对应关系。基于块的对比流程通过自相似度计算获得正样本，并将其余块视为负样本。这种灵活的学习范式以低成本获取辅助上下文信息。由于负样本数量惊人，出于好奇，我们基于一个问题展开研究：是否所有负样本对特征对比学习都是必要的？与以往尽可能使用负样本的CL方法不同，本文从信息论视角研究负样本，并引入一种新的用于非配对图像到图像翻译（PUT）的负样本剪枝技术，通过稀疏化与排序块实现。所提算法高效、灵活，使模型能稳定学习对应块间本质信息。通过重质轻量，仅需少量负样本块即可取得更好结果。最后，我们通过对比实验验证了模型的优越性、稳定性与通用性。