释放 Mamba 的潜能：通过跨模型知识蒸馏提升 LiDAR 3D 稀疏检测器性能
计算机视觉与模式识别
2026-03-31 v2
摘要
在自动驾驶中实现实时感知，平衡准确率与速度的 LiDAR 3D 对象检测器至关重要。然而，许多现有的 LiDAR 检测模型依赖复杂的特征转换，导致实际性能差且资源消耗高，限制了其实际应用效果。本文提出了一种更快的 LiDAR 3D 对象检测器框架，称为 FASD，通过自适应对齐稀疏体素块来实现高效的异构模型知识蒸馏。我们的目标是将 Transformer 的序列建模能力蒸馏到 Mamba 模型中，通过知识迁移显著提升准确率。具体而言，我们首先设计了跨模型知识蒸馈的架构，以将 Transformer 的全局语境理解能力传递给 Mamba。基于 Transformer 的教师模型采用尺度自适应注意力机制以增强多尺度融合；而基于 Mamba 的学生模型则通过基于空间的适配器进行特征对齐，同时受限于隐空间特征和跨头蒸馏损失的监督，从而实现性能和效率的提升。我们在 Waymo 和 nuScenes 数据集上评估了 FASD，在基线模型的基础上实现了资源消耗降低 4 倍、性能提升 1-2%，并在实际部署中显著提升了准确率和效率。
引用
@article{arxiv.2409.11018,
title = {Unleashing the Potential of Mamba: Boosting a LiDAR 3D Sparse Detector by Using Cross-Model Knowledge Distillation},
author = {Rui Yu and Runkai Zhao and Jiagen Li and Qingsong Zhao and HuaiCheng Yan and Meng Wang},
journal= {arXiv preprint arXiv:2409.11018},
year = {2026}
}