协作着色：探索用于近红外图像频谱翻译的潜在跨域先验
计算机视觉与模式识别
2023-08-08 v1
摘要
近红外（NIR）图像频谱翻译是一个具有许多前景应用的挑战性问题。现有方法受困于 NIR 与 RGB 域之间的映射歧义，并因模型学习能力的局限以及缺乏充足 NIR-RGB 图像对用于训练而泛化性差。为应对这些挑战，我们提出一种协作学习范式，通过探索潜在跨域先验（即潜在频谱上下文先验与任务域先验），与另一代理灰度着色任务并行地对 NIR 图像进行着色，称为 CoColor。来自这两个任务域的互补统计与语义频谱信息——以预训练着色网络的形式——作为任务域先验引入。随后设计了一个双边域翻译模块，其中间歇 NIR 图像由灰度生成并与真实 NIR 图像并行着色；灰度图像反之亦然。这些间歇变换充当潜在频谱上下文先验以实现高效的域知识交换。我们通过一系列像素级与特征级一致性约束逐步微调并融合这些模块。实验表明，我们提出的协作学习框架产生了具有多样色彩与丰富纹理的满意频谱翻译输出，并在 NIR 与灰度着色任务上分别以 PNSR 衡量优于最先进对手 3.95dB 与 4.66dB。
引用
@article{arxiv.2308.03348,
title = {Cooperative Colorization: Exploring Latent Cross-Domain Priors for NIR Image Spectrum Translation},
author = {Xingxing Yang and Jie Chen and Zaifeng Yang},
journal= {arXiv preprint arXiv:2308.03348},
year = {2023}
}
备注
Accepted by ACMMM 2023