通过融合多模态传感器捕获的互补信息提升图像超分辨率

图像超分辨率(SR)提供了一种有前景的技术来增强低分辨率光学传感器的图像质量，从而在广泛的机器人应用中促进性能更好的目标检测与自主导航。值得注意的是，最先进的 SR 方法通常在单通道输入上训练与测试，忽视了在不同光谱域捕获高分辨率图像的成本差异显著这一事实。在本文中，我们尝试利用来自低成本通道(可见光/深度)的互补信息，以更少的参数提升昂贵通道(热成像)的图像质量。为此，我们首先提出一种基于多视角捕获的多模态数据实时三维重建来虚拟生成像素级对齐的可见光与热成像图像的有效方法。然后，我们设计了一个特征级多光谱融合残差网络模型，通过自适应整合多光谱图像中呈现的共现特征来执行热成像图像的高精度 SR。实验结果表明，该方法通过考虑来自额外低成本通道的互补信息，能有效缓解图像 SR 的病态逆问题，在精度与效率上均显著优于最先进的 SR 方法。