RGB-多光谱匹配：数据集、学习方法与评估
计算机视觉与模式识别
2022-06-15 v1
摘要
我们通过求解立体匹配对应关系，解决配准具有显著差异分辨率的同步彩色（RGB）与多光谱（MS）图像的问题。为此，我们引入了一个新的 RGB-MS 数据集，该数据集在室内环境中拍摄了 13 个不同场景，并提供共计 34 对图像，以视差图形式标注了半稠密、高分辨率真实标签。为应对该任务，我们提出了一种以自监督方式训练的深度学习架构，其利用一个额外的 RGB 相机，该相机仅在训练数据采集时需要。在此设置下，我们可通过基于约 11K 无标签图像三元组的更简单的 RGB-RGB 匹配任务蒸馏知识，在无真实标签的情况下方便地学习跨模态匹配。实验表明，所提出的流程为未来针对这一新颖且具挑战性任务的研究确立了良好的性能基准（平均配准误差 1.16 像素）。
引用
@article{arxiv.2206.07047,
title = {RGB-Multispectral Matching: Dataset, Learning Methodology, Evaluation},
author = {Fabio Tosi and Pierluigi Zama Ramirez and Matteo Poggi and Samuele Salti and Stefano Mattoccia and Luigi Di Stefano},
journal= {arXiv preprint arXiv:2206.07047},
year = {2022}
}
备注
CVPR 2022, New Orleans. Project page: https://cvlab-unibo.github.io/rgb-ms-web/