SBEVNet：端到端深度立体布局估计
计算机视觉与模式识别
2021-10-19 v2
摘要
准确的布局估计对自动驾驶等机器人应用中的规划与导航至关重要。本文引入立体鸟瞰视图网络(SBEVNet)，一种从立体图像对估计鸟瞰视图布局的新颖有监督端到端框架。尽管我们的网络复用了最先进深度学习网络中用于视差估计的一些构建模块，我们表明显式深度估计既非充分也非必要。相反，学习良好的内部鸟瞰视图特征表示对布局估计有效。具体而言，我们首先利用立体图像特征生成视差特征体，并将其投影至鸟瞰视图坐标，这给出场景结构的粗粒度信息。我们还应用逆透视映射(IPM)将输入图像及其特征映射至鸟瞰视图，这给出细粒度纹理信息。将 IPM 特征与投影特征体拼接创建丰富的鸟瞰视图表示，有助于空间推理。我们利用该表示估计 BEV 语义图。此外，我们展示将 IPM 特征作为立体特征的监督信号可提升性能。我们在两个数据集上验证方法：KITTI 数据集与 CARLA 模拟器生成的合成数据集。对两者，相较基线技术我们均确立了最先进性能。
引用
@article{arxiv.2105.11705,
title = {SBEVNet: End-to-End Deep Stereo Layout Estimation},
author = {Divam Gupta and Wei Pu and Trenton Tabor and Jeff Schneider},
journal= {arXiv preprint arXiv:2105.11705},
year = {2021}
}
备注
WACV 2022