DDColor：基于双解码器实现照片级真实感图像上色
计算机视觉与模式识别
2023-09-06 v5
摘要
图像上色由于多模态不确定性和高度病态性而具有挑战性。直接训练深度神经网络通常导致语义颜色不正确且色彩丰富度低。基于 transformer 的方法虽能给出较好结果，但往往依赖人工设计的先验、泛化能力差，并引入颜色溢出效应。为解决这些问题，我们提出 DDColor，一种用于图像上色的端到端双解码器方法。我们的方法包含一个像素解码器和一个基于查询的颜色解码器。前者恢复图像的空间分辨率，后者利用丰富的视觉特征细化颜色查询，从而避免手工先验。两个解码器通过交叉注意力共同建立颜色与多尺度语义表示之间的关联，显著缓解颜色溢出效应。此外，引入一种简单而有效的色彩丰富度损失以增强色彩丰富度。大量实验表明，DDColor 在定量与定性上均优于现有最先进（SOTA）方法。代码与模型已公开于 https://github.com/piddnad/DDColor。
引用
@article{arxiv.2212.11613,
title = {DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders},
author = {Xiaoyang Kang and Tao Yang and Wenqi Ouyang and Peiran Ren and Lingzhi Li and Xuansong Xie},
journal= {arXiv preprint arXiv:2212.11613},
year = {2023}
}
备注
ICCV 2023; Code: https://github.com/piddnad/DDColor