SPColor：语义先验引导的基于参考图的图像上色方法
计算机视觉与模式识别
2023-11-30 v3
摘要
基于参考图的图像上色旨在基于一张彩色参考图像为目标灰度图上色，其关键在于在两图之间建立准确的像素级语义对应。先前的方法在整张参考图像中搜索对应，这类全局匹配容易产生误匹配。我们将困难归纳为两方面：(1) 当参考图像仅包含与目标图像相关的部分物体时，不相关区域会建立不当对应。(2) 在物体形状或纹理易混淆的区域容易得到误匹配。为克服这些问题，我们提出 SPColor，一种语义先验引导的基于参考图的图像上色框架。与先前方法不同，SPColor 首先在语义先验引导下将参考图像与目标图像的像素粗分为若干伪类别，然后通过新设计的语义先验引导对应网络仅在同一类内的像素之间建立局部对应。如此，不同语义类之间的不当对应被显式排除，误匹配明显缓解。此外，为更好地保留来自参考图像的颜色，设计了相似度掩码感知损失。需注意，精心设计的 SPColor 利用了无监督分割模型提供的语义先验，无需额外人工语义标注。实验表明，我们的模型在公开数据集上在定量与定性方面均优于近期最先进的方法。
引用
@article{arxiv.2304.06255,
title = {SPColor: Semantic Prior Guided Exemplar-based Image Colorization},
author = {Siqi Chen and Xueming Li and Xianlin Zhang and Mingdao Wang and Yu Zhang and Yue Zhang},
journal= {arXiv preprint arXiv:2304.06255},
year = {2023}
}