MatrixVT：面向 3D 感知的高效多相机到 BEV 变换方法
计算机视觉与模式识别
2022-11-22 v1
摘要
本文提出了一种面向 3D 感知的高效多相机到鸟瞰图（Bird's-Eye-View, BEV）视图变换方法，称为 MatrixVT。现有的视图变换器要么变换效率低下，要么依赖设备专用算子，阻碍了 BEV 模型的广泛应用。相比之下，我们的方法仅使用卷积和矩阵乘法（MatMul）即可高效生成 BEV 特征。具体而言，我们提出将 BEV 特征描述为图像特征与稀疏特征传输矩阵（Feature Transporting Matrix, FTM）的矩阵乘法。随后引入一个主提取（Prime Extraction）模块来压缩图像特征的维度并降低 FTM 的稀疏性。此外，我们提出环与射线分解（Ring & Ray Decomposition）以用两个矩阵替代 FTM，并重构我们的流程以进一步减少计算量。与现有方法相比，MatrixVT 在保持易于部署的同时，具有更快的速度和更小的内存占用。在 nuScenes 基准上的大量实验表明，我们的方法高效且在目标检测和地图分割任务中取得了与 SOTA 方法相当的结果。
引用
@article{arxiv.2211.10593,
title = {MatrixVT: Efficient Multi-Camera to BEV Transformation for 3D Perception},
author = {Hongyu Zhou and Zheng Ge and Zeming Li and Xiangyu Zhang},
journal= {arXiv preprint arXiv:2211.10593},
year = {2022}
}