跨光谱 Gated-RGB 立体深度估计
计算机视觉与模式识别
2024-05-22 v1
摘要
Gated 相机对场景进行泛光照明，并捕获场景的时间 gated 脉冲响应。通过采用纳秒级 gate，现有传感器能够捕获百万像素级的 gated 图像，提供在空间分辨率和深度精度上优于当今 LiDAR 传感器的密集深度。尽管 gated 深度估计方法每帧可提供上百万个深度估计值，但其分辨率仍比现有 RGB 成像方法低一个数量级。在本工作中，我们将高分辨率立体 HDR RCCB 相机与 gated 成像相结合，从而能够利用来自主动 gating、多视角 RGB 和多视角 NIR 感知的深度线索——即跨越整个光谱的多视角与 gated 线索。由此构成的采集系统仅由低成本的 CMOS 传感器和泛光照明组成。我们提出了一种新颖的立体深度估计方法，能够利用这些多模态多视角深度线索，包括在移除 IR-cut 滤镜后由 RCCB 相机测量到的主动照明。所提出的方法实现了远距离的精确深度估计，在 100 至 220 米范围内，基于累积的 LiDAR 真值的平均绝对误差（MAE）指标上，比现有次优方法提升了 39%。我们的代码、模型和数据集可在 https://light.princeton.edu/gatedrccbstereo/ 获取。
引用
@article{arxiv.2405.12759,
title = {Cross-spectral Gated-RGB Stereo Depth Estimation},
author = {Samuel Brucker and Stefanie Walz and Mario Bijelic and Felix Heide},
journal= {arXiv preprint arXiv:2405.12759},
year = {2024}
}