基于反馈式目标外观学习的夜间热红外图像彩色化
计算机视觉与模式识别
2023-10-25 v1
摘要
在恶劣环境（如全黑）下的稳定成像使得热红外（TIR）相机成为夜间场景感知的普遍选择。然而，TIR图像的低对比度和缺乏色彩特性不利于人工判读以及后续基于RGB的视觉算法的部署。因此，将夜间TIR图像转化为相应的白天彩色图像（NTIR2DC）来进行彩色化是有意义的。尽管NTIR2DC任务已取得令人印象深刻的进展，但如何提升小目标类别的翻译性能仍鲜有探索。为解决该问题，我们提出了一种融合基于反馈的目标外观学习（FoalGAN）的生成对抗网络。具体而言，提出了一个遮挡感知混合模块及相应的外观一致性损失，以降低目标翻译的上下文依赖性。作为夜间街景中小目标的代表性示例，我们展示了如何通过设计交通灯外观损失来增强交通灯的真实感。为进一步提升小目标的外观学习，我们设计了一种双重反馈学习策略，以选择性地调整不同样本的学习频率。此外，我们对Brno数据集的一个子集提供了像素级标注，可促进多天气条件下NTIR图像理解的研究。大量实验表明，所提出的FoalGAN不仅对小目标的外观学习有效，而且在NTIR2DC任务的语义保持和边缘一致性方面优于其他图像翻译方法。
引用
@article{arxiv.2310.15688,
title = {Nighttime Thermal Infrared Image Colorization with Feedback-based Object Appearance Learning},
author = {Fu-Ya Luo and Shu-Lin Liu and Yi-Jun Cao and Kai-Fu Yang and Chang-Yong Xie and Yong Liu and Yong-Jie Li},
journal= {arXiv preprint arXiv:2310.15688},
year = {2023}
}
备注
14 pages, 14 figures. arXiv admin note: text overlap with arXiv:2208.02960