PCSGAN：用于热成像与近红外到可见光图像转换的感知循环合成生成对抗网络
图像与视频处理
2020-08-07 v2 计算机视觉与模式识别
机器学习
多媒体
摘要
在许多真实场景中，由于光照条件不佳，难以在可见光光谱(VIS)下捕获图像。然而，在此类场景中可使用近红外(NIR)和热成像(THM)相机捕获图像。NIR 和 THM 图像包含的细节有限。因此，需要将 THM/NIR 图像转换为 VIS 图像以便更好地理解。然而，由于巨大的域差异和缺乏充足的数据集，这是一项非平凡的任务。如今，生成对抗网络(GAN)能够将一个域的图像转换到另一个域。大多数现有的基于 GAN 的方法使用对抗损失与逐像素损失(如 或 )的组合作为训练目标函数。在 THM/NIR 到 VIS 转换中，使用此类目标函数时转换图像的质量仍不达标。因此，需要更好的目标函数以提升转换图像的质量、精细细节与真实感。本文引入了一种称为感知循环合成生成对抗网络(PCSGAN)的 THM/NIR 到 VIS 图像转换新模型来解决这些问题。PCSGAN 使用了感知(即基于特征的)损失与逐像素损失及对抗损失的组合。采用定量与定性度量来评估 PCSGAN 模型在 WHU-IIP 人脸和 RGB-NIR 场景数据集上的性能。所提出的 PCSGAN 在 SSIM、MSE、PSNR 和 LPIPS 评价指标上优于包括 Pix2pix、DualGAN、CycleGAN、PS2GAN 和 PAN 在内的当前最优图像转换模型。代码见 https://github.com/KishanKancharagunta/PCSGAN。
引用
@article{arxiv.2002.07082,
title = {PCSGAN: Perceptual Cyclic-Synthesized Generative Adversarial Networks for Thermal and NIR to Visible Image Transformation},
author = {Kancharagunta Kishan Babu and Shiv Ram Dubey},
journal= {arXiv preprint arXiv:2002.07082},
year = {2020}
}
备注
Published in Neurocomputing Journal, Elsevier