OmniDet：基于环视相机的自动驾驶多任务视觉感知网络
计算机视觉与模式识别
2023-06-07 v3 机器人学
摘要
环视鱼眼相机通常部署于自动驾驶中，以实现车辆周围 360\deg{} 近场感知。本工作提出一种在未校正鱼眼图像上的多任务视觉感知网络，使车辆能够感知其周围环境。它包含自动驾驶系统所需的六项主要任务：深度估计、视觉里程计、语义分割、运动分割、目标检测与镜头污损检测。我们证明联合训练的模型优于各自的单任务版本。我们的多任务模型具有共享编码器，提供了显著的计算优势，并具备协同解码器，各任务相互支持。我们提出一种基于相机几何的适配机制，在训练与推理时编码鱼眼畸变模型。这对于在 WoodScape 数据集上实现训练至关重要，该数据集由安装在三辆不同车辆上的 12 个不同相机采集自世界不同地区，具有不同内参与视角。鉴于边界框并非失真鱼眼图像的优良表示，我们还将目标检测扩展为使用非均匀采样顶点的多边形。我们还在标准自动驾驶数据集 KITTI 与 Cityscapes 上评估了我们的模型。我们在 KITTI 的深度估计与位姿估计任务上取得了 SOTA 结果，并在其他任务上获得有竞争力的性能。我们对多种架构选择与任务加权方法进行了广泛的消融研究。https://youtu.be/xbSjZ5OfPes 上的短视频提供了定性结果。
引用
@article{arxiv.2102.07448,
title = {OmniDet: Surround View Cameras based Multi-task Visual Perception Network for Autonomous Driving},
author = {Varun Ravi Kumar and Senthil Yogamani and Hazem Rashed and Ganesh Sistu and Christian Witt and Isabelle Leang and Stefan Milz and Patrick Mäder},
journal= {arXiv preprint arXiv:2102.07448},
year = {2023}
}
备注
Best Robot Vision paper award finalist (top 4). Camera ready version accepted for RA-L and ICRA 2021 publication