用于点云单目标跟踪的 3D 孪生 Transformer 网络
计算机视觉与模式识别
2022-07-27 v2
摘要
基于孪生网络的跟踪器将 3D 单目标跟踪表述为模板与搜索区域点特征之间的互相关学习。由于跟踪过程中模板与搜索区域之间外观差异较大，如何学习二者之间鲁棒的互相关以在搜索区域中识别潜在目标仍是一个具有挑战性的问题。本文中，我们显式地使用 Transformer 构建 3D 孪生 Transformer 网络，用于学习点云模板与搜索区域之间的鲁棒互相关。具体而言，我们开发了孪生点 Transformer 网络来学习目标形状上下文信息：其编码器利用自注意力捕获点云的非局部信息以刻画物体形状信息，解码器利用交叉注意力上采样具有判别力的点特征。此后，我们开发了迭代由粗到细的相关网络来学习模板与搜索区域之间的鲁棒互相关，其通过交叉注意力将模板与搜索区域中的潜在目标相关联，表述为跨特征增强。为了进一步增强潜在目标，其采用自注意力作用于特征空间局部 k-NN 图的自特征增强来聚合目标特征。在 KITTI、nuScenes 和 Waymo 数据集上的实验表明，我们的方法在 3D 单目标跟踪任务上取得了最先进的性能。
引用
@article{arxiv.2207.11995,
title = {3D Siamese Transformer Network for Single Object Tracking on Point Clouds},
author = {Le Hui and Lingpeng Wang and Linghua Tang and Kaihao Lan and Jin Xie and Jian Yang},
journal= {arXiv preprint arXiv:2207.11995},
year = {2022}
}
备注
Accepted to ECCV'22