基于条件生成对抗网络的全自动图像去栅栏
计算机视觉与模式识别
2019-08-20 v1
摘要
图像去栅栏是休闲摄影的重要方面之一,其目标是去除图像中存在的栅栏纹理,并生成无栅栏纹理且视觉美观的同一图像版本。本文旨在利用条件生成对抗网络 (cGANs) 开发一种自动化且高效的栅栏去除与图像重建技术。这些网络已成功应用于计算机视觉中多个聚焦图像生成与渲染的领域。我们的初始方法基于两阶段架构,涉及两个分别生成栅栏掩码与修复后图像的 cGAN。这些网络独立训练,在评估时输入图像依次通过两个生成器以获得去栅栏图像。该方法所得结果令人满意,但由于图像须通过两组卷积层,响应时间较长。为缩短响应时间,我们提出第二种方法,仅采用单一 cGAN 架构,利用带栅栏-去栅栏图像对的真实值以及由 Canny 滤波器生成的带栅栏图像边缘图进行训练。边缘图的引入有助于网络精确检测输入图像中的边缘,并使其能以更高效的方式在层数较少的情况下实现高质量去栅栏,相较于两阶段网络而言。文中报告的定性与定量实验结果表明,单阶段去栅栏网络生成的去栅栏图像与两阶段网络生成的具有相似视觉质量。对比性能分析也凸显了我们的方法相对于最先进图像去栅栏技术的有效性。
引用
@article{arxiv.1908.06837,
title = {Fully Automated Image De-fencing using Conditional Generative Adversarial Networks},
author = {Divyanshu Gupta and Shorya Jain and Utkarsh Tripathi and Pratik Chattopadhyay and Lipo Wang},
journal= {arXiv preprint arXiv:1908.06837},
year = {2019}
}
备注
10 pages, 5 figures