实例感知的图像着色

图像着色本质上是一个具有多模态不确定性的不适定问题。以往的方法利用深度神经网络将输入的灰度图像直接映射到合理的彩色输出。尽管这些基于学习的方法已展现出令人印象深刻的性能，但它们通常在包含多个物体的输入图像上失效。其主要原因在于现有模型在整个图像上执行学习和着色，在缺乏明确的图形-背景分离的情况下，这些模型无法有效定位并学习有意义的物体级语义。本文提出一种实现实例感知着色的方法。我们的网络架构利用现成的目标检测器获取裁剪后的物体图像，并使用实例着色网络提取物体级特征。我们采用类似网络提取全图像特征，并应用融合模块对完整的物体级与图像级特征进行融合以预测最终颜色。着色网络与融合模块均从大规模数据集学习得到。实验结果表明，我们的工作在多种质量指标上优于现有方法，并在图像着色任务上取得了最先进的性能。