Fast-BEV：一种快速且鲁棒的鸟瞰图感知基线
计算机视觉与模式识别
2024-07-10 v2
摘要
近年来，基于鸟瞰图（BEV）表示的感知任务受到越来越多的关注，BEV 表示有望成为下一代自动驾驶汽车（AV）感知的基础。然而，现有大多数 BEV 方案要么需要大量资源以在车载端进行推理，要么性能平平。本文提出了一种简单而有效的框架，称为 Fast-BEV，能够在车载芯片上实现更快的 BEV 感知。为此，我们首先通过实证发现，BEV 表示无需昂贵的基于 transformer 的变换或深度表示即可具备足够的表达能力。我们的 Fast-BEV 由五部分组成，我们新颖地提出：（1）一种轻量、易于部署的视图变换，可快速将 2D 图像特征转换至 3D 体素空间；（2）一种利用多尺度信息以提升性能的多尺度图像编码器；（3）一种专为加速车载推理而设计的高效 BEV 编码器。我们进一步引入（4）一种针对图像与 BEV 空间的强数据增强策略以避免过拟合，（5）一种利用时序信息的多帧特征融合机制。通过实验，在 2080Ti 平台上，我们的 R50 模型在 nuScenes 验证集上可以 52.6 FPS 运行，NDS 达 47.3%，超越了 BEVDepth-R50 模型的 41.3 FPS 和 47.5% NDS，以及 BEVDet4D-R50 模型的 30.2 FPS 和 45.7% NDS。我们最大的模型（R101@900x1600）在 nuScenes 验证集上建立了具有竞争力的 53.5% NDS。我们进一步在当前流行的车载芯片上开发了一个具有可观精度与效率的基准。代码发布于：https://github.com/Sense-GVT/Fast-BEV。
引用
@article{arxiv.2301.12511,
title = {Fast-BEV: A Fast and Strong Bird's-Eye View Perception Baseline},
author = {Yangguang Li and Bin Huang and Zeren Chen and Yufeng Cui and Feng Liang and Mingzhu Shen and Fenggang Liu and Enze Xie and Lu Sheng and Wanli Ouyang and Jing Shao},
journal= {arXiv preprint arXiv:2301.12511},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2301.07870