ThermalGen：面向 RGB 至热红外图像转换的风格解耦流生成模型
计算机视觉与模式识别
2025-09-30 v1 机器人学
摘要
成对的 RGB-热红外数据对于视觉-热红外传感器融合及跨模态任务至关重要，包括多模态图像对齐与检索等重要应用。然而，同步且标定的 RGB-热红外图像对的稀缺性构成了这些领域发展的主要障碍。为克服这一挑战，RGB 至热红外（RGB-T）图像转换作为一种极具前景的解决方案应运而生，它能够利用丰富的 RGB 数据集合成热红外图像以用于训练。在本研究中，我们提出了 ThermalGen，一种用于 RGB-T 图像转换的自适应流生成模型，其结合了 RGB 图像条件化架构与风格解耦机制。为支持大规模训练，我们整理了八个公开的卫星-航空、航空及地面 RGB-T 成对数据集，并引入了三个新的大规模卫星-航空 RGB-T 数据集——DJI-day、Bosonplus-day 和 Bosonplus-night——它们跨越不同的时间、传感器类型和地理区域采集而成。在多个 RGB-T 基准上的广泛评估表明，与现有的基于 GAN 和基于扩散的方法相比，ThermalGen 取得了相当或更优的转换性能。据我们所知，ThermalGen 是首个能够合成反映视角、传感器特性和环境条件显著变化的热红外图像的 RGB-T 图像转换模型。项目页面：http://xjh19971.github.io/ThermalGen
引用
@article{arxiv.2509.24878,
title = {ThermalGen: Style-Disentangled Flow-Based Generative Models for RGB-to-Thermal Image Translation},
author = {Jiuhong Xiao and Roshan Nayak and Ning Zhang and Daniel Tortei and Giuseppe Loianno},
journal= {arXiv preprint arXiv:2509.24878},
year = {2025}
}
备注
23 pages including the checklist and appendix. Accepted at NeurIPS 2025