SCGAN：基于显著性图引导与生成对抗网络的上色方法
计算机视觉与模式识别
2020-11-24 v1 多媒体
摘要
给定一张灰度照片，上色系统估计一幅视觉上合理的彩色图像。常规方法常利用语义对灰度图像上色。然而，这些方法中仅嵌入了分类语义信息，导致最终上色图像出现语义混淆与颜色溢出。为解决这些问题，我们提出一种全自动的基于显著性图引导与生成对抗网络（SCGAN）的上色框架。它联合预测上色结果与显著性图，以最小化上色图像中的语义混淆与颜色溢出。由于来自预训练VGG-16-Gray网络的全局特征被嵌入上色编码器，所提SCGAN可用远少于前沿方法的数据训练，以实现感知合理的上色。此外，我们提出一种新颖的基于显著性图的引导方法。上色解码器的分支被用于预测显著性图作为代理目标。而且，分别为生成的上色结果与显著性图采用两个分层判别器，以强化视觉感知性能。所提系统在ImageNet验证集上评估。实验结果表明，SCGAN能生成比前沿技术更合理的上色图像。
引用
@article{arxiv.2011.11377,
title = {SCGAN: Saliency Map-guided Colorization with Generative Adversarial Network},
author = {Yuzhi Zhao and Lai-Man Po and Kwok-Wai Cheung and Wing-Yin Yu and Yasar Abbas Ur Rehman},
journal= {arXiv preprint arXiv:2011.11377},
year = {2020}
}
备注
accepted by IEEE Transactions on Circuits and Systems for Video Technology