4D-MultispectralNet：基于人体掩码的多光谱立体视差估计
计算机视觉与模式识别
2022-04-21 v1
摘要
多光谱立体视觉是一个新兴领域。经典立体视觉已有大量研究，但多光谱立体视觉的研究尚不频繁。这类立体视觉可用于自动驾驶车辆，以补全 RGB 相机所提供的信息。它有助于在更困难的条件下（如夜间场景）识别周围物体。本文聚焦于 RGB-LWIR 光谱。RGB-LWIR 立体视觉面临与经典立体视觉相同的挑战，即遮挡、无纹理表面和重复图案，此外还有与不同模态相关的特定挑战。在两个光谱间寻找匹配增加了另一层复杂性。颜色、纹理和形状更可能随光谱不同而变化。为应对这一额外挑战，本文致力于估计场景中出现的人物的视差。鉴于人的形状在 RGB 和 LWIR 中均被捕捉，我们提出一种新方法，使用人体在两种光谱中的分割掩码，并将其在 Siamese Network 的第一层之前拼接至原始图像。该方法有助于提高精度，尤其在一像素误差范围内。
引用
@article{arxiv.2204.09089,
title = {4D-MultispectralNet: Multispectral Stereoscopic Disparity Estimation using Human Masks},
author = {Philippe Duplessis-Guindon and Guillaume-Alexandre Bilodeau},
journal= {arXiv preprint arXiv:2204.09089},
year = {2022}
}
备注
6 pages, 2 figures