无监督可见光图像引导的双模相机跨光谱深度估计
计算机视觉与模式识别
2022-05-03 v1
摘要
跨光谱深度估计旨在利用一对双光谱图像在所有光照条件下提供深度图。当车辆配备两个不同模态的相机时，这对自动驾驶应用很有价值。然而，不同模态相机捕获的图像在光度上可能差异很大。因此，跨光谱深度估计是一个非常具有挑战性的问题。此外，大规模开源数据集的缺乏也阻碍了该领域的进一步研究。本文中，给定由可见光相机和热成像相机捕获的一对 RGB 与热图像，我们提出了一种无监督可见光图像引导的跨光谱（即热与可见光，简称 TIR-VIS）深度估计框架。我们首先采用基于 RGB 图像对的基准深度估计网络。然后提出多尺度特征迁移网络，在特征层面将特征从 TIR-VIS 域迁移到 VIS 域，以适配训练好的深度估计网络。最后，提出跨光谱深度循环一致性来改进双光谱图像对的深度结果。同时，我们向业界发布了一个大型双光谱深度估计数据集，包含在不同场景捕获的可见光与远红外立体图像。实验结果表明，我们的方法比对比的现有方法取得了更好的性能。我们的数据集可在 https://github.com/whitecrow1027/VIS-TIR-Datasets 获取。
引用
@article{arxiv.2205.00257,
title = {Unsupervised Visible-light Images Guided Cross-Spectrum Depth Estimation from Dual-Modality Cameras},
author = {Yubin Guo and Haobo Jiang and Xinlei Qi and Jin Xie and Cheng-Zhong Xu and Hui Kong},
journal= {arXiv preprint arXiv:2205.00257},
year = {2022}
}