Tag2Pix：基于文本标签与SECat及Changing Loss的线稿上色
计算机视觉与模式识别
2021-12-17 v1 机器学习
摘要
线稿上色自动化代价高昂且富有挑战。本文提出一种称为 Tag2Pix 的 GAN 方法，用于线稿上色，其以灰度线稿与颜色标签信息为输入，生成高质量的彩色图像。首先，我们给出 Tag2Pix 线稿上色数据集。所提出的生成器网络由用于变换输入线稿的卷积层、预训练的语义提取网络以及用于输入颜色信息的编码器组成。判别器基于辅助分类器 GAN（auxiliary classifier GAN），以分类标签信息及真伪。此外，我们提出一种称为 SECat 的新颖网络结构，使生成器能对眼睛等微小特征恰当上色，并给出一种新颖的两步训练方法：生成器与判别器先学习对象与形状的概念，再基于所学概念学习上色，即何处及如何放置何种颜色。我们给出定量与定性评估，证明了所提方法的有效性。
引用
@article{arxiv.1908.05840,
title = {Tag2Pix: Line Art Colorization Using Text Tag With SECat and Changing Loss},
author = {Hyunsu Kim and Ho Young Jhoo and Eunhyeok Park and Sungjoo Yoo},
journal= {arXiv preprint arXiv:1908.05840},
year = {2021}
}
备注
Accepted to ICCV 2019