质量感知的非配对图像到图像翻译

生成对抗网络(GANs)已被广泛用于图像到图像翻译任务。虽然这些模型严重依赖带标注的图像对,但最近提出了一些 GAN 变体来处理非配对图像翻译任务。这些模型在域级别利用重建过程进行监督以实现非配对图像翻译。另一方面,并行研究表明,利用基于高层深度特征的感知损失函数可以提升生成图像的质量。然而,由于这些基于 GAN 的模型要么依赖预训练的深度网络结构,要么依赖带标注的图像对,它们无法直接应用于非配对图像翻译任务。此外,尽管引入的来自深度神经网络的感知损失有所改进,但很少有研究者探索利用经典图像质量度量来改善生成图像质量的可能性。为应对上述两个挑战,本文提出了一种统一的基于质量感知 GAN 的框架用于非配对图像到图像翻译,该框架通过在域级别比较每张源图像与重建图像来显式地引入质量感知损失。具体而言,我们设计了两种质量损失的详细实现。第一种方法基于经典图像质量评估度量,定义了一种经典的质量感知损失。第二种方法提出了一种基于自适应深度网络的损失。最后,在多个真实世界数据集上的大量实验结果清楚地显示了我们所提框架的质量提升,以及相比基于深度网络的模型,利用经典图像质量度量用于非配对图像翻译的优越性。