通过语义与纹理线索自适应融合的注意力引导近红外图像彩色化

近红外（NIR）成像已广泛应用于低光照成像场景；然而，人类与算法均难以在无色的 NIR 域中感知真实场景。尽管生成对抗网络（GAN）已被广泛用于各类图像彩色化任务，但诸如常规 GAN 之类的直接映射机制难以同时将图像从 NIR 域变换至 RGB 域并兼具正确语义推理、良好保留的纹理以及生动色彩组合。本工作中，我们提出一种新颖的基于注意力的 NIR 图像彩色化框架，通过语义与纹理线索的自适应融合，旨在同一框架内实现上述目标。纹理迁移与语义推理任务在两个独立网络块中执行。具体而言，纹理迁移块（TTB）旨在从 NIR 图像的拉普拉斯分量中提取纹理特征并迁移用于后续色彩融合。语义推理块（SRB）提取语义线索并将 NIR 像素值映射至 RGB 域。最后，提出融合注意力块（FAB）以自适应融合两分支特征并生成优化彩色化结果。为增强网络在语义推理中的学习能力以及纹理迁移中的映射精度，我们提出残差坐标注意力块（RCAB），其将坐标注意力融入残差学习框架，使网络能沿通道方向捕获长程依赖，同时沿空间方向保留精确位置信息。RCAB 亦被纳入 FAB 以促成融合过程中的准确纹理对齐。定量与定性评估均表明所提方法优于最先进的 NIR 图像彩色化方法。