PointBeV：一种用于 BeV 预测的稀疏方法
计算机视觉与模式识别
2024-05-24 v2
摘要
鸟瞰图（BeV）表示已成为驾驶应用中的事实共享空间，为传感器数据融合提供统一空间并支持多种下游任务。然而，常规模型使用固定分辨率和范围的网格，并因对所有单元均匀分配资源而面临计算低效。为此，我们提出 PointBeV，一种在稀疏 BeV 单元而非稠密网格上运行的新型稀疏 BeV 分割模型。该方法可精确控制内存使用，从而能够利用长时序上下文并适配内存受限平台。PointBeV 采用高效的两遍训练策略，使计算聚焦于感兴趣区域。在推理时，它可配合多种内存/性能权衡使用，并灵活适配新的特定用例。PointBeV 在 nuScenes 数据集上针对车辆、行人和车道分割取得了最先进结果，尽管仅以稀疏信号训练，仍在静态与时序设定下展现出优越性能。我们将发布代码及架构中使用的两个新高效模块：用于从图像到 BeV 有效提取特征的 Sparse Feature Pulling，以及实现高效时序建模的 Submanifold Attention。我们的代码可在 https://github.com/valeoai/PointBeV 获取。
引用
@article{arxiv.2312.00703,
title = {PointBeV: A Sparse Approach to BeV Predictions},
author = {Loick Chambon and Eloi Zablocki and Mickael Chen and Florent Bartoccioni and Patrick Perez and Matthieu Cord},
journal= {arXiv preprint arXiv:2312.00703},
year = {2024}
}
备注
https://github.com/valeoai/PointBeV