NVAutoNet：面向自动驾驶的快速精准 360° 3D 视觉感知
计算机视觉与模式识别
2023-11-29 v4
摘要
实现鲁棒且实时的 3D 感知是自动驾驶车辆的基础。现有多数 3D 感知方法优先关注检测精度，却常忽视计算效率、车载芯片部署友好性、对传感器安装偏差的鲁棒性以及针对不同车型的适应性等关键方面。为应对这些挑战，我们提出 NVAutoNet：一种专为自动驾驶车辆定制的鸟瞰图（BEV）感知网络。NVAutoNet 以同步相机图像为输入，预测障碍物、可行驶区域与停车位等 3D 信号。NVAutoNet 架构核心（图像与 BEV 骨干网络）依赖于高效卷积网络，并利用 TensorRT 进行高性能优化。更重要的是，我们的图像到 BEV 变换采用简单线性层与 BEV 查找表，确保了快速推理速度。NVAutoNet 在大规模专有数据集上训练，持续达到高感知精度，在 NVIDIA DRIVE Orin SoC 上以每秒 53 帧的速率运行。值得注意的是，NVAutoNet 对源于不同车型的传感器安装偏差表现出鲁棒性。此外，借助低成本的模型微调流程，NVAutoNet 能快速适配兼容性调整，从而擅长应对多种车型。
引用
@article{arxiv.2303.12976,
title = {NVAutoNet: Fast and Accurate 360$^{\circ}$ 3D Visual Perception For Self Driving},
author = {Trung Pham and Mehran Maghoumi and Wanli Jiang and Bala Siva Sashank Jujjavarapu and Mehdi Sajjadi and Xin Liu and Hsuan-Chu Lin and Bor-Jeng Chen and Giang Truong and Chao Fang and Junghyun Kwon and Minwoo Park},
journal= {arXiv preprint arXiv:2303.12976},
year = {2023}
}
备注
Accepted to WACV 2024. Link to video https://www.youtube.com/watch?v=cPxVhCJ7kyY