基于学习的跨光谱视差估计与深度引导遮挡重建的多光谱快照图像配准
图像与视频处理
2024-06-18 v1
摘要
多光谱成像旨在记录不同光谱带的图像，这在多样化的鉴别应用中具有极大益处，例如在农业、回收或医疗保健领域。快照多光谱成像的一种方法是使用相机阵列，每个相机记录不同的光谱带。由于相机处于不同的空间位置，需进行配准程序将每个相机映射到同一视图。本文提出了包含三个新组件的多光谱快照图像配准：首先引入基于伪光谱数据增强的交叉光谱视差估计网络；随后将该视差估计用于层级方式精确检测遮挡；最后，通过学习的深度引导神经网络重建这些检测到的遮挡，利用其他光谱组件的结构信息。我们展示了配准过程中的每个环节以及最终结果均优于当前最先进的方法。就PSNR而言，我们的配准提升了超过3 dB；同时，运行时间在CPU上缩短了超过3倍。在GPU上，运行时间可缩短达111倍。源代码和数据可在https://github.com/FAU-LMS/MSIR 获取。
引用
@article{arxiv.2406.11284,
title = {Multispectral Snapshot Image Registration Using Learned Cross Spectral Disparity Estimation and a Deep Guided Occlusion Reconstruction Network},
author = {Frank Sippel and Jürgen Seiler and André Kaup},
journal= {arXiv preprint arXiv:2406.11284},
year = {2024}
}