基于自顶向下引导注意力的夜间驾驶场景热红外图像彩色化
计算机视觉与模式识别
2021-04-30 v1
摘要
得益于对光照不敏感以及对雾天环境的高穿透性，红外相机被广泛用于夜间交通场景的感知。然而，热红外（TIR）图像的低对比度和缺乏色彩性阻碍了人工判读以及高层计算机视觉算法的可移植性。将夜间 TIR 图像转换为白天彩色（NTIR2DC）图像的彩色化方法可能是促进夜间场景感知的一种有前景的途径。尽管近期在图像翻译方面取得了令人印象深刻的进展，NTIR2DC 任务中的语义编码纠缠和几何畸变仍未得到充分解决。因此，我们提出了一种基于自顶向下注意力与梯度对齐的 GAN，称为 PearlGAN。首先设计了一个自顶向下引导注意力模块和精细的注意力损失，以减少翻译过程中的语义编码歧义。然后，引入结构化梯度对齐损失以鼓励翻译图像与输入图像之间的边缘一致性。此外，对 FLIR 和 KAIST 数据集的一个子集进行了像素级标注，以评估多种翻译方法的语义保持性能。进一步地，设计了一种新指标来评估翻译过程中的几何一致性。大量实验证明了所提出的 PearlGAN 在 NTIR2DC 任务上优于其他图像翻译方法。源代码和标注的分割掩码将在 \url{https://github.com/FuyaLuo/PearlGAN/} 提供。
引用
@article{arxiv.2104.14374,
title = {Thermal Infrared Image Colorization for Nighttime Driving Scenes with Top-Down Guided Attention},
author = {Fuya Luo and Yunhan Li and Guang Zeng and Peng Peng and Gang Wang and Yongjie Li},
journal= {arXiv preprint arXiv:2104.14374},
year = {2021}
}
备注
A Manuscript Submitted to IEEE Transactions on Intelligent Transpotation Systems