基于焦点损失的无配对对比翻译用于图像块分类

图像到图像翻译模型将图像从输入域转换到输出域，力求保留图像的原始内容。对比无配对翻译（Contrastive Unpaired Translation）是解决此类问题的现有方法之一。与同类方法相比，该方法显著的优势在于能够在输入域和输出域均仅为单张图像的情况下训练并表现良好。另一将其与先前方法区分开的关键点在于使用图像块而非整幅图像。结果还表明，从同一图像中采样负样本（计算损失所需的图像块）比从数据集中其他图像采样负样本的方案取得更好的结果。这种方法促使对应图像块相对于其他图像块（负样本）映射到相同位置，同时提升了输出图像质量，并且与作为基线的CycleGAN方法相比，显著减少了内存占用和模型训练所需时间。通过一系列实验，我们表明在PatchNCE损失中使用焦点损失（focal loss）替代交叉熵损失可改善模型性能，甚至超越当前最先进（state-of-the-art）的图像到图像翻译模型。