基于点云序列中时序运动估计提升 3D 对象检测的先验方法
计算机视觉与模式识别
2024-09-09 v1
摘要
精准且稳健的LiDAR 3D 对象检测是实现自动驾驶综合场景理解的关键。尽管重要性却因点云数据固有的局限性所制约，尤其是在距离较远和遮挡的情况下。最近的研究表明，时序聚合显著提升检测精度，通过融合多帧视角信息丰富物体的空间表征。本文提出一种新型LiDAR 3D 对象检测框架，称为LiSTM，以跨帧运动预测信息促进空间时序特征学习。我们的目标是通过纳入来自非学习型运动估计模型生成的动态先验，提高LiDAR 检测器的空间时序解释能力。具体而言，提出运动引导特征聚合（MGFA）技术，利用物体在前后运动状态下的轨迹建模为驾驶序列上的高斯热图，从而引导时序特征融合，丰富所提出的物体特征。此外，我们设计双关联合加权模块（DCWM），有效促进过去帧与前瞻帧之间的场景级和通道级特征互作。最终，采用级联跨注意力解码器对3D 预测进行细化。我们在Waymo 和 nuScenes 数据集上进行实验，表明该框架通过有效的空间时序特征学习，实现了优异的3D 检测性能。
引用
@article{arxiv.2409.04390,
title = {Future Does Matter: Boosting 3D Object Detection with Temporal Motion Estimation in Point Cloud Sequences},
author = {Rui Yu and Runkai Zhao and Cong Nie and Heng Wang and HuaiCheng Yan and Meng Wang},
journal= {arXiv preprint arXiv:2409.04390},
year = {2024}
}