基于参考图像与增强自参考及稠密语义对应的草图图像上色
计算机视觉与模式识别
2020-05-12 v1
摘要
本文研究在给定已上色参考图像的情况下对草图图像进行自动上色的任务。草图图像上色在漫画、动画及其他内容创作应用中有着很高的需求，但其受限于草图图像信息匮乏。为此，参考图像能够以可靠且用户驱动的方式引导上色过程。然而，难以准备具有足够数量语义有意义图像对以及反映给定参考的已上色图像真值（例如，给定绿色汽车参考，对原本为蓝色的汽车草图进行上色）的训练数据集。为应对这一挑战，我们提出利用带几何形变的同一图像作为虚拟参考，从而能够确保已上色输出图像的真值。此外，它自然提供了稠密语义对应的真值，我们将其用于内部注意力机制中，实现从参考到草图输入的颜色迁移。我们通过针对现有方法的定量与定性评估，展示了我们的方法在各类草图图像上色中的有效性。
引用
@article{arxiv.2005.05207,
title = {Reference-Based Sketch Image Colorization using Augmented-Self Reference and Dense Semantic Correspondence},
author = {Junsoo Lee and Eungyeup Kim and Yunsung Lee and Dongjun Kim and Jaehyuk Chang and Jaegul Choo},
journal= {arXiv preprint arXiv:2005.05207},
year = {2020}
}
备注
Accepted to CVPR 2020