ParaColorizer：基于并行生成网络的图像真实感上色
计算机视觉与模式识别
2022-08-18 v1
摘要
灰度图像上色是人工智能用于信息复原的一项引人入胜的应用。该问题固有的不适定性使其更具挑战性，因为输出可能是多模态的。当前基于学习的方法在简单情形下能给出可接受的结果，但在缺乏清晰的前景-背景分离时通常无法复原上下文信息。此外，由于在全图像特征上训练的单一模型不足以学习多样的数据模态，图像会出现颜色溢出和背景去饱和现象。为解决这些问题，我们提出了一种基于并行GAN的上色框架。在我们的方法中，每条单独定制的GAN流水线分别利用对象级特征对前景上色，或利用全图像特征对背景上色。前景流水线采用带自注意力的Residual-UNet作为其生成器，使用来自COCO数据集的全图像特征及相应对象级特征进行训练。背景流水线依赖全图像特征及来自Places数据集的额外训练样本。我们设计了一个基于DenseFuse的融合网络，通过对并行生成输出的基于特征融合得到最终上色图像。我们指出了常用于评估图像上色等多模态问题的非感知评价指标的缺陷，并使用多种感知指标对我们的框架进行了广泛的性能评估。我们的方法优于大多数现有的基于学习的方法，并取得了与最先进水平相当的结果。此外，我们进行了运行时分析，得到每幅图像平均推理时间为24毫秒。
引用
@article{arxiv.2208.08295,
title = {ParaColorizer: Realistic Image Colorization using Parallel Generative Networks},
author = {Himanshu Kumar and Abeer Banerjee and Sumeet Saurav and Sanjay Singh},
journal= {arXiv preprint arXiv:2208.08295},
year = {2022}
}