以词着色:通过基于文本的调色板生成引导图像上色
计算机视觉与模式识别
2018-08-08 v2
摘要
本文提出一种新方法,生成多个反映输入文本语义的调色板,并依据所生成的调色板对给定灰度图像进行上色。与现有方法不同,我们的模型能够理解丰富的文本(无论是单个词、短语还是句子),并从中生成多种可能的调色板。针对该任务,我们引入了手动整理的名为 Palette-and-Text (PAT) 的数据集。我们提出的名为 Text2Colors 的模型由两个条件生成对抗网络组成:文本到调色板生成网络与基于调色板的着色网络。前者捕捉文本输入的语义并生成相关调色板;后者利用生成的调色板对灰度图像上色。我们的评估结果表明,人们更偏好我们生成的调色板而非真实调色板,且我们的模型在上色时能有效体现所给调色板。
引用
@article{arxiv.1804.04128,
title = {Coloring with Words: Guiding Image Colorization Through Text-based Palette Generation},
author = {Hyojin Bahng and Seungjoo Yoo and Wonwoong Cho and David K. Park and Ziming Wu and Xiaojuan Ma and Jaegul Choo},
journal= {arXiv preprint arXiv:1804.04128},
year = {2018}
}
备注
25 pages, 22 figures