LapGSR：用于引导热成像超分辨率的拉普拉斯重建网络
图像与视频处理
2024-11-13 v1 计算机视觉与模式识别
摘要
近年来，多模态数据融合已被广泛研究，应用于机器人技术、手势识别和自主导航等领域。确实，高质量视觉传感器昂贵，消费级传感器产生低分辨率图像。研究人员开发了将 RGB 彩色图像与非视觉数据（如热成像）相结合的方法，以克服这一限制并提高分辨率。融合多模态以生成视觉上吸引人的高分辨率图像通常需要具有数百万参数和繁重计算负载的稠密模型，这通常归因于模型的复杂架构。我们提出 LapGSR，一种结合拉普拉斯图像金字塔的多模态、轻量级生成模型，用于引导热成像超分辨率。该方法在 RGB 彩色图像上使用拉普拉斯金字塔提取关键边缘信息，随后结合像素损失和对抗损失，在模型高层绕过繁重的特征图计算。LapGSR 在保持图像空间和结构细节的同时，也保持了高效和紧凑。这导致模型参数显著少于其他 SOTA 模型，同时在两个跨域数据集 ULB17-VT 和 VGTSR 上展示了优异结果。
引用
@article{arxiv.2411.07750,
title = {LapGSR: Laplacian Reconstructive Network for Guided Thermal Super-Resolution},
author = {Aditya Kasliwal and Ishaan Gakhar and Aryan Kamani and Pratinav Seth and Ujjwal Verma},
journal= {arXiv preprint arXiv:2411.07750},
year = {2024}
}