用于稀疏多光谱视差估计的域孪生卷积神经网络
计算机视觉与模式识别
2020-05-04 v1
摘要
多光谱视差估计是一项困难的任务，原因有很多：它具备传统可见光-可见光视差估计的所有挑战（遮挡、重复图案、无纹理表面），此外图像之间（例如彩色信息与热红外信息）仅有极少共同视觉信息。本文提出一种新的CNN架构，能够对不同光谱的图像（本例中为热红外与可见光）进行视差估计。我们提出的模型以两个图像块作为输入，并对每个图像块进行域特征提取。随后通过两种融合操作（即相关与拼接）合并来自两个域的特征。这些合并后的向量被送入各自的分类头，负责将输入分类为相同或不相同。使用两种融合操作使我们的特征提取过程更具鲁棒性，从而实现更精确的视差估计。我们的方法使用公开的LITIV 2014和LITIV 2018数据集进行测试，与其他SOTA方法相比取得了最佳结果。
引用
@article{arxiv.2005.00088,
title = {Domain Siamese CNNs for Sparse Multispectral Disparity Estimation},
author = {David-Alexandre Beaupre and Guillaume-Alexandre Bilodeau},
journal= {arXiv preprint arXiv:2005.00088},
year = {2020}
}