用于 3D 单目标跟踪的具有密集连接的多相关 Siamese Transformer 网络
计算机视觉与模式识别
2023-12-19 v1 机器人学
摘要
基于点云的 3D 目标跟踪是自动驾驶中的一项重要任务。尽管近年来基于 Siamese 架构的 3D 跟踪取得了巨大进展，但利用稀疏 LIDAR 点云数据有效学习模板分支与搜索分支之间的相关性仍然具有挑战性。本文不再仅在网络中的单一位置执行两个分支的相关性计算，而是提出一种多相关 Siamese Transformer 网络，该网络具有多个阶段，并基于稀疏柱在每个阶段末尾进行特征相关性计算。更具体地，在每个阶段，首先对每个分支分别应用自注意力以捕获非局部上下文信息。然后，使用交叉注意力将模板信息注入搜索区域。该策略使得搜索区域的特征学习能够感知模板，同时保持模板的自身特征完整。为使网络易于保留在不同阶段学习到的信息并简化优化过程，对于搜索区域，我们将初始输入稀疏柱和每个阶段的输出密集连接到所有后续阶段以及目标定位网络，该网络将柱转换为鸟瞰图（BEV）特征图，并使用一个小型密集连接卷积网络预测目标状态。此外，在每个阶段添加深度监督以进一步提升性能。所提出的算法在流行的 KITTI、nuScenes 和 Waymo 数据集上进行了评估，实验结果表明，与 SOTA 方法相比，我们的方法取得了有前景的性能。此外，还提供了消融研究以展示各组件的有效性。代码可在 https://github.com/liangp/MCSTN-3DSOT 获取。
引用
@article{arxiv.2312.11051,
title = {Multi-Correlation Siamese Transformer Network with Dense Connection for 3D Single Object Tracking},
author = {Shihao Feng and Pengpeng Liang and Jin Gao and Erkang Cheng},
journal= {arXiv preprint arXiv:2312.11051},
year = {2023}
}
备注
Preprint version for IEEE Robotics and Automation Letters (RAL)