基于条件对抗网络的用户引导深度动漫线稿上色
计算机视觉与模式识别
2018-08-13 v2
摘要
基于涂鸦着色的线稿上色是一项具挑战性的计算机视觉问题，因为线稿中既无灰度值也无语义信息，且缺乏真实的插图—线稿训练对也增加了模型泛化的难度。近来，若干基于生成对抗网络（GANs）的方法取得很大成功，它们能在给定线稿与颜色提示下生成上色插图。然而，这些方法未能捕捉真实插图分布，因此在常缺乏准确阴影的意义上感知上不尽如人意。为应对这些挑战，我们提出一种用于基于涂鸦的动漫线稿上色的新型深度条件对抗架构。具体而言，我们将条件框架与 WGAN-GP 准则以及感知损失相结合，使我们能稳健训练深度网络，令合成图像更自然真实。我们还引入了独立于合成数据的局部特征网络；以该网络特征为条件的 GANs 显著提升了在“野生”线稿上的泛化能力。此外，我们收集了两个用于训练与基准测试的高质量彩色插图与真实线稿数据集。用我们所提模型在插图数据集上训练后，我们表明本方法合成的图像比替代方法明显更真实、更精确。
引用
@article{arxiv.1808.03240,
title = {User-Guided Deep Anime Line Art Colorization with Conditional Adversarial Networks},
author = {Yuanzheng Ci and Xinzhu Ma and Zhihui Wang and Haojie Li and Zhongxuan Luo},
journal= {arXiv preprint arXiv:1808.03240},
year = {2018}
}
备注
Accepted for publication at the 2018 ACM Multimedia Conference (MM '18)