3M-TI：通过无标定多相机跨模态扩散实现高质量移动热成像
计算机视觉与模式识别
2026-03-18 v3 光学
摘要
热传感器在移动平台上的小型化 inherently 限制了其空间分辨率和纹理保真度，导致模糊且信息量较少的图像。现有的热超分辨率（SR）方法可分为单图像和RGB引导两类：前者难以从有限信息中恢复精细结构，而后者依赖精确且费力的跨相机标定，阻碍了实际部署和鲁棒性。在这里，我们提出了3M-TI，一种用于移动热成像的无标定多相机跨模态扩散框架。3M-TI的核心是将跨模态自注意力模块（CSM）集成到扩散UNet中，替换原始的自注意力层，在去噪过程中自适应地对齐热成像和RGB特征，无需显式相机标定。这一设计使扩散网络能够利用其生成先验来增强超分辨率热图像的空间分辨率、结构保真度和纹理细节。在真实移动热相机和公共基准上的广泛评估验证了我们优异的性能，在视觉质量和定量指标上均达到最先进水平。更重要的是，3M-TI增强的热图像在目标检测和分割等关键下游任务中带来了显著提升，强调了其在鲁棒移动热感知系统中的实际价值。更多材料：https://github.com/work-submit/3MTI。
引用
@article{arxiv.2511.19117,
title = {3M-TI: High-Quality Mobile Thermal Imaging via Calibration-free Multi-Camera Cross-Modal Diffusion},
author = {Minchong Chen and Xiaoyun Yuan and Junzhe Wan and Jianing Zhang and Jun Zhang},
journal= {arXiv preprint arXiv:2511.19117},
year = {2026}
}
备注
Accepted by CVPR 2026, Code: https://github.com/work-submit/3MTI, Project page: https://lab.xiaoyunyuan.net/index.html?project=3m-ti