中文

图像到图像转换的感知对抗网络(PAN)

计算机视觉与模式识别 2019-04-04 v2

摘要

本文中,我们提出一种原理性的感知对抗网络(PAN)用于图像到图像转换任务。与现有的特定应用算法不同,PAN提供了一个通用框架来学习配对图像之间的映射关系(图1),例如将雨天图像映射到其去雨后的对应图像、物体边缘到其照片、语义标签到场景图像等。所提出的PAN由两个前馈卷积神经网络(CNN)组成:图像转换网络T和判别网络D。通过结合生成对抗损失与提出的感知对抗损失,这两个网络可以交替训练以解决图像到图像转换任务。其中,判别网络D的隐藏层与输出被升级以持续自动发现转换图像与相应真实值之间的差异。同时,图像转换网络T被训练以最小化判别网络D探索到的差异。通过对抗训练过程,图像转换网络T将不断缩小转换图像与真实图像之间的差距。在若干图像到图像转换任务(例如图像去雨、图像修复等)上的实验表明,所提出的PAN优于许多相关的最先进的方法。

关键词

引用

@article{arxiv.1706.09138,
  title  = {Perceptual Adversarial Networks for Image-to-Image Transformation},
  author = {Chaoyue Wang and Chang Xu and Chaohui Wang and Dacheng Tao},
  journal= {arXiv preprint arXiv:1706.09138},
  year   = {2019}
}