SwinFuSR：基于图像融合思想的 RGB 引导热成像超分辨率模型
图像与视频处理
2024-04-24 v1 计算机视觉与模式识别
摘要
热成像在 various applications 中发挥着关键作用，但常用红外（IR）相机的固有低分辨率限制了其效果。常规的超分辨率（SR）方法在处理热成像时常因缺乏高频细节而难以胜任。引导 SR 利用来自高分辨率图像（通常为可见光谱）的信息来增强从低分辨率输入重建高分辨率 IR 图像的质量。受 SwinFusion 启发，我们提出了 SwinFuSR，一个基于 Swin 变换器的引导 SR 架构。在实际场景中，引导模态（例如 RGB 图像）可能缺失，因此我们提出了一种训练方法，以提高模型在此类情况下的鲁棒性。该方法参数较少，在 PSNR 和 SSIM 等指标上均优于最先进的模型。 在 PBVS 2024 热成像超分辨率挑战赛的第 2 赛道中，它在 PSNR 指标上获得了第 3 名。我们的代码和预训练权重可在 https://github.com/VisionICLab/SwinFuSR 上获取。
引用
@article{arxiv.2404.14533,
title = {SwinFuSR: an image fusion-inspired model for RGB-guided thermal image super-resolution},
author = {Cyprien Arnold and Philippe Jouvet and Lama Seoud},
journal= {arXiv preprint arXiv:2404.14533},
year = {2024}
}
备注
Accepted at 20th IEEE Workshop on Perception Beyond the Visible Spectrum, CVPR 2024