基于条件 U-Net 的 RGB 到热图图像翻译管线及其预处理与后处理
计算机视觉与模式识别
2026-05-19 v1
摘要
配对的 RGB-热图数据在图像融合、目标跟踪和异常检测等众多应用中显示出显著的实用价值；然而，其更广泛的应用受限于对齐 RGB-热图图像对有限的获取。RGB 到热图（反之亦然）图像翻译已成为解决这一挑战的实用方法。先前的方法包括条件生成对抗网络（cGAN）如 ThermalGAN 和基于可扩展插值转换器（SiT）的架构如 ThermalGen，均已在航空 imagery 到热图翻译中展现出强大的潜力。本文探索了在保持性能的前提下以更简洁为优先考量的替代方案。具体提出一种条件 U-Net 架构，在瓶颈层集成天气数据，并辅以在 Pix2Pix GAN 架构中应用的针对性预处理和后处理技术。我们使用 612 组配对的 RGB 和热图图像构建训练集，并进行 5 折交叉验证评估，最终在保留下测试集上进行测试。我们的条件 U-Net 模型表现最佳，峰值信噪比（PSNR）为 14.5485，结构相似性指数（SSIM）为 0.8095，学习感知图像块相似性（LPIPS）为 0.1666。这些结果优于基准 ThermalGen 模型，后者分别获得 PSNR、SSIM 和 LPIPS 分别为 7.56、0.2444 和 0.6317。我们发现，尽管饱和度提升和对比度增强用于预处理、高斯模糊用于后处理可提供可见的改进，但将条件数据纳入模型最为有效。我们的发现巩固了将辅助元数据集成到热图生成中以获取更准确热图重建的潜力，表明此类信息可作为关键环境条件的代理。
引用
@article{arxiv.2605.17564,
title = {A Conditional U-Net Pipeline with Pre- and Post-Processing for Aerial RGB-to-Thermal Image Translation},
author = {Tseten Sherpa and Sikandar Ali and Shubham Parab and Haoyun Feng and Matthew Dennis and Keenan Gibbons and Verrah Otiende and Geoffrey H. Siwo},
journal= {arXiv preprint arXiv:2605.17564},
year = {2026}
}
备注
8 pages, 7 figures, NeurIPS 2026