MsSVT++：用于 3D 物体检测的混合尺度稀疏体素 Transformer 与中心投票
计算机视觉与模式识别
2024-01-23 v1
摘要
在大规模户外场景中进行精确的 3D 物体检测，其特征是物体尺度变化巨大，这需要同时具备长程和细粒度信息的特征。虽然最近的检测器利用基于窗口的 transformer 来建模长程依赖关系，但它们往往忽略细粒度细节。为了弥补这一差距，我们提出了 MsSVT++，这是一种创新的混合尺度稀疏体素 Transformer，通过分治法同时捕捉这两类信息。该方法涉及将注意力头显式划分为多个组，每组负责关注特定范围内的信息。随后合并这些组的输出以获得最终的混合尺度特征。为了降低在 3D 体素空间中应用基于窗口的 transformer 相关的计算复杂度，我们引入了一种新颖的棋盘采样策略，并使用哈希映射稀疏地实现体素采样和聚集操作。此外，一个重要的挑战源于观察到非空体素主要位于物体表面，这阻碍了边界框的精确估计。为了克服这一挑战，我们引入了一个中心投票模块，该模块将富含混合尺度上下文信息的新投票体素整合到物体中心，从而提高精确的物体定位。大量实验表明，基于 MsSVT++ 构建的单阶段检测器在不同数据集上始终表现出卓越的性能。
引用
@article{arxiv.2401.11718,
title = {MsSVT++: Mixed-scale Sparse Voxel Transformer with Center Voting for 3D Object Detection},
author = {Jianan Li and Shaocong Dong and Lihe Ding and Tingfa Xu},
journal= {arXiv preprint arXiv:2401.11718},
year = {2024}
}