单目道路平面视差估计

估计可行驶表面及周围环境的 3D 结构对于辅助驾驶与自动驾驶是一项关键任务。通常要么通过使用 LiDAR 等 3D 传感器，要么通过深度学习直接预测点的深度来解决。然而，前者成本高昂，后者缺乏利用场景的几何信息。在本文中，我们不拘泥于现有方法，提出道路平面视差注意力网络 (RPANet)，一种基于平面视差从单目图像序列进行 3D 感知的新型深度神经网络，其充分利用了驾驶场景中普遍存在的道路平面几何。RPANet 以由道路平面单应性对齐的一对图像作为输入，输出用于 3D 重建的 $\gamma$ 图（高度与深度之比）。该 $\gamma$ 图具有在两连续帧间构建二维变换的潜力。它隐含平面视差，并可与作为参考的道路平面结合，通过扭曲连续帧来估计 3D 结构。此外，我们引入一种新颖的交叉注意力模块，使网络更好地感知由平面视差引起的位移。为验证方法有效性，我们从 Waymo Open Dataset 中采样数据并构建了与平面视差相关的标注。在采样数据集上进行了综合实验，以展示我们的方法在挑战性场景下的 3D 重建精度。