基于少量参考的线稿视频深度上色
计算机视觉与模式识别
2020-03-31 v2
摘要
基于参考图像颜色为线稿图像上色是动画制作中的重要环节,耗时且繁琐。本文提出一种深度架构,以给定参考图像相同的色彩风格自动为线稿视频上色。我们的框架由色彩变换网络和时间约束网络组成。色彩变换网络以目标线稿图像以及一个或多个参考图像的线稿与彩色图像作为输入,生成对应的目标彩色图像。为应对目标线稿图像与参考彩色图像间较大的差异,我们的架构利用非局部相似度匹配确定目标图像与参考图像间的区域对应关系,用于将局部色彩信息从参考图迁移至目标图。为保证全局色彩风格一致性,我们进一步将自适应实例归一化(Adaptive Instance Normalization, AdaIN)与从参考图像全局色彩风格描述子(由嵌入器提取的风格嵌入向量)获得的变换参数相结合。时间约束网络按时间顺序将参考图像与目标图像共同输入,通过 3D 卷积学习时空特征,以保证目标图像与参考图像的时间一致性。我们的模型在处理新风格动画时,仅用少量样本微调参数即可获得更优上色结果。为评估我们的方法,我们构建了线稿上色数据集。实验表明,与 SOTA 方法及其他基线相比,我们的方法在线稿视频上色上取得了最佳性能。
引用
@article{arxiv.2003.10685,
title = {Deep Line Art Video Colorization with a Few References},
author = {Min Shi and Jia-Qi Zhang and Shu-Yu Chen and Lin Gao and Yu-Kun Lai and Fang-Lue Zhang},
journal= {arXiv preprint arXiv:2003.10685},
year = {2020}
}