GP-GAN:迈向逼真的高分辨率图像融合
计算机视觉与模式识别
2019-08-06 v3
摘要
在自动照片编辑应用中,处理高分辨率图像融合既常见又具挑战性。本文致力于解决给定合成图像的高分辨率图像融合问题。我们提出了一种名为高斯-泊松生成对抗网络(Gaussian-Poisson Generative Adversarial Network, GP-GAN)的框架,以结合经典基于梯度的方法与生成对抗网络的优势。据我们所知,这是首个探索 GAN 在高分辨率图像融合任务中能力的工作。具体而言,我们提出了高斯-泊松方程来表述高分辨率图像融合问题,这是一个受梯度与颜色信息约束的联合优化。受先前工作启发,我们通过应用梯度滤波器获取梯度信息。为生成颜色信息,我们提出了 Blending GAN 来学习合成图像与良好融合图像之间的映射。与其他替代方法相比,我们的方法能够提供高分辨率、逼真的图像,且减少了颜色溢出与不悦的伪影。实验证实,我们的方法在 Transient Attributes 数据集上取得了 SOTA 性能。在 Amazon Mechanical Turk 上的一项用户研究表明,大多数工作者倾向于所提出的方法。
引用
@article{arxiv.1703.07195,
title = {GP-GAN: Towards Realistic High-Resolution Image Blending},
author = {Huikai Wu and Shuai Zheng and Junge Zhang and Kaiqi Huang},
journal= {arXiv preprint arXiv:1703.07195},
year = {2019}
}
备注
Accepted by ACMMM 2019. The source code is available in https://github.com/wuhuikai/GP-GAN and there's also an online demo in http://wuhuikai.me/DeepJS