3DTMDet：用于点云三维目标检测的 Transformer 与 SSM 双路径协同网络
计算机视觉与模式识别
2026-05-18 v1
摘要
点云目标检测的一个根本挑战在于远距离点的极度稀疏性与远程上下文理解需求之间的冲突。现有方法通常使用一维序列化来扩大感受野，这不可避免地丢弃了本就稀缺的局部几何细节，并降低了对远距离和小目标的检测能力。为了解决这个问题，我们提出了 3DTMDet，一种将状态空间模型（Mamba）与 Transformer 协同结合的新型检测网络。其核心思想是利用 SSM 的线性复杂度及其在长序列建模中的优势，有效捕捉稀疏远距离点之间的全局交互，同时使用具有局部注意力的 Transformer 模块来编码局部点集中的细粒度几何结构，保留精确的形状信息。我们提出了 3D 混合 Mamba Transformer（3DHMT）模块，该模块使用 SSM-Attention-SSM 流水线来平衡全局上下文理解和局部细节保留，有效缓解了远程检测中感受野扩大与几何保留之间的张力。此外，我们引入了一个受 LiDAR 物理启发的体素生成模块，该模块沿传感器观测方向扩散特征，以重建遮挡和远距离区域的完整目标结构。在 KITTI 和 ONCE 数据集上进行的大量实验表明，3DTMDet 的性能优于最先进的检测器。代码可在 https://github.com/QiuBingwen/3DTMDet 获取。
引用
@article{arxiv.2605.15546,
title = {3DTMDet: A Dual-Path Synergy Network of Transformer and SSM for 3D Object Detection in Point Clouds},
author = {Bingwen Qiu and Yuan Liu and Junqi Bai and Tong Jiang and Ben Liang and Fangzhou Chen and Xiubao Sui and Qian Chen},
journal= {arXiv preprint arXiv:2605.15546},
year = {2026}
}