STS：用于多视角3D检测的环视时序立体匹配
计算机视觉与模式识别
2022-08-23 v1
摘要
学习准确的深度对多视角3D目标检测至关重要。近期的方法主要从单目图像学习深度，由于单目深度学习的病态本质而面临固有困难。不同于使用单一的单目深度方法，本工作中我们提出一种新颖的环视时序立体匹配（STS）技术，利用跨时间帧间的几何对应关系以促进准确的深度学习。具体而言，我们将自车周围所有相机的视野视为一个统一视图，即环视，并在其上进行时序立体匹配。STS产生的不同帧间的几何对应关系被利用并与单目深度结合以得到最终的深度预测。在 nuScenes 上的综合实验表明，STS大幅提升了3D检测能力，尤其是对中远距离目标。在采用 ResNet-50 骨干的 BEVDepth 上，STS将 mAP 和 NDS 分别提升了 2.6% 和 1.4%。当使用更大的骨干与更大的图像分辨率时亦观察到一致的提升，证明了其有效性。
引用
@article{arxiv.2208.10145,
title = {STS: Surround-view Temporal Stereo for Multi-view 3D Detection},
author = {Zengran Wang and Chen Min and Zheng Ge and Yinhao Li and Zeming Li and Hongyu Yang and Di Huang},
journal= {arXiv preprint arXiv:2208.10145},
year = {2022}
}