中文

GP-GAN:迈向逼真的高分辨率图像融合

计算机视觉与模式识别 2019-08-06 v3

摘要

在自动照片编辑应用中,处理高分辨率图像融合既常见又具挑战性。本文致力于解决给定合成图像的高分辨率图像融合问题。我们提出了一种名为高斯-泊松生成对抗网络(Gaussian-Poisson Generative Adversarial Network, GP-GAN)的框架,以结合经典基于梯度的方法与生成对抗网络的优势。据我们所知,这是首个探索 GAN 在高分辨率图像融合任务中能力的工作。具体而言,我们提出了高斯-泊松方程来表述高分辨率图像融合问题,这是一个受梯度与颜色信息约束的联合优化。受先前工作启发,我们通过应用梯度滤波器获取梯度信息。为生成颜色信息,我们提出了 Blending GAN 来学习合成图像与良好融合图像之间的映射。与其他替代方法相比,我们的方法能够提供高分辨率、逼真的图像,且减少了颜色溢出与不悦的伪影。实验证实,我们的方法在 Transient Attributes 数据集上取得了 SOTA 性能。在 Amazon Mechanical Turk 上的一项用户研究表明,大多数工作者倾向于所提出的方法。

关键词

引用

@article{arxiv.1703.07195,
  title  = {GP-GAN: Towards Realistic High-Resolution Image Blending},
  author = {Huikai Wu and Shuai Zheng and Junge Zhang and Kaiqi Huang},
  journal= {arXiv preprint arXiv:1703.07195},
  year   = {2019}
}

备注

Accepted by ACMMM 2019. The source code is available in https://github.com/wuhuikai/GP-GAN and there's also an online demo in http://wuhuikai.me/DeepJS