中文

用于自监督占据栅格预测的可微光线投射

计算机视觉与模式识别 2022-10-19 v2 机器人学

摘要

安全自动驾驶的运动规划需要学习 ego 车辆周围环境随时间演化方式。场景中可行驶区域以 ego 为中心的感知不仅随环境中参与者的运动而改变,也随 ego 车辆自身的运动而改变。针对大规模规划提出的自监督表示,例如以 ego 为中心的自由空间(freespace),混淆了这两种运动,使得该表示难以用于下游运动规划器。在本文中,我们使用几何占据(geometric occupancy)作为诸如自由空间等视角依赖表示的自然替代。占据图自然地将环境的运动与 ego 车辆的运动解耦。然而,人们无法直接观测场景的完整 3D 占据(由于遮挡),使其难以用作学习信号。我们的关键见解是使用可微光线投射(differentiable raycasting)将未来占据预测“渲染”为未来 LiDAR 扫描预测,从而可与真实扫描比较以进行自监督学习。可微光线投射的使用使得占据作为预测网络内部的表示自然浮现。在无真实占据的情况下,我们定量评估了光线投射 LiDAR 扫描的预测,并显示 F1 分数提升高达 15 点。对于下游运动规划器,其中浮现的占据可直接用于引导非可行驶区域,该表示相对于以自由空间为中心的运动规划器将与人或物碰撞的次数最多相对减少 17%。

关键词

引用

@article{arxiv.2210.01917,
  title  = {Differentiable Raycasting for Self-supervised Occupancy Forecasting},
  author = {Tarasha Khurana and Peiyun Hu and Achal Dave and Jason Ziglar and David Held and Deva Ramanan},
  journal= {arXiv preprint arXiv:2210.01917},
  year   = {2022}
}

备注

ECCV 2022. Code available at https://github.com/tarashakhurana/emergent-occ-forecasting