借助生成对抗网络生成先验实现生动多样的图像上色
计算机视觉与模式识别
2022-08-09 v2
摘要
近年来，上色任务引起了越来越多的关注。经典的基于参考的方法通常依赖外部彩色图像以获得合理结果，不可避免地需要大型图像数据库或在线搜索引擎来检索此类样本。近期基于深度学习的方法能以较低成本自动为图像上色，然而总伴随不令人满意的伪影与不连贯色彩。本工作中，我们提出 GCP-Colorization，利用预训练生成对抗网络（GAN）中封装的丰富且多样的颜色先验进行自动上色。具体而言，我们首先通过 GAN 编码器“检索”匹配特征（类似于样本），随后通过特征调制将这些特征融入上色过程。得益于强大的生成颜色先验（GCP）与精细设计，我们的 GCP-Colorization 可通过单次前向传播生成生动色彩。此外，通过修改 GAN 潜码即可便捷获得多样结果。GCP-Colorization 还继承了 GAN 可解释控制的优点，可通过遍历 GAN 潜空间实现可控且平滑的过渡。大量实验与用户研究表明，GCP-Colorization 取得了优于以往工作的性能。代码见 https://github.com/ToTheBeginning/GCP-Colorization。
引用
@article{arxiv.2108.08826,
title = {Towards Vivid and Diverse Image Colorization with Generative Color Prior},
author = {Yanze Wu and Xintao Wang and Yu Li and Honglun Zhang and Xun Zhao and Ying Shan},
journal= {arXiv preprint arXiv:2108.08826},
year = {2022}
}
备注
ICCV 2021. Codes are available at https://github.com/ToTheBeginning/GCP-Colorization