CapHDR2IR：基于标题的可见光到红外域转换
计算机视觉与模式识别
2024-11-26 v1
摘要
红外 (IR) 成像因其独特的捕捉极端光照条件内容的能力，在多个领域具有优势。然而，高分辨率 IR 传感器的苛刻硬件要求限制了其广泛应用。作为一种替代方案，可以使用可见光来合成 IR 图像，但这会导致图像细节丢失，并因缺乏场景上下文感知而引入不一致性。这源于使用可见光且标准动态范围，尤其是在极端照明条件下，缺乏上下文感知会导致伪热-交叉 artifact。当多个具有相似温度的物体在训练数据中难以区分时，这会进一步恶化细节丢失。为解决这一挑战，本文提出了 CapHDR2IR，一个新型框架集成了视觉-语言模型，使用高动态范围 (HDR) 图像作为输入生成 IR 图像。HDR 图像捕捉更广泛的亮度变化，确保在不同光照条件下可靠的 IR 图像生成。此外，密集标题分支集成了语义理解，导致更具意义和可辨识的 IR 输出。在 HDRT 数据集上的大量实验表明，所提出的 CapHDR2IR 在与现有通用领域转换方法以及专为可见光到红外图像翻译量身定制的方法相比时，实现了最先进的性能。
引用
@article{arxiv.2411.16327,
title = {CapHDR2IR: Caption-Driven Transfer from Visible Light to Infrared Domain},
author = {Jingchao Peng and Thomas Bashford-Rogers and Zhuang Shao and Haitao Zhao and Aru Ranjan Singh and Abhishek Goswami and Kurt Debattista},
journal= {arXiv preprint arXiv:2411.16327},
year = {2024}
}