点云配准驱动的鲁棒特征匹配用于3D孪生目标跟踪
计算机视觉与模式识别
2022-12-06 v2 人工智能
摘要
学习模板与搜索区域间的鲁棒特征匹配对3D孪生跟踪至关重要。孪生特征匹配的核心是如何在模板与搜索区域的对应点上赋予高特征相似度以实现精确目标定位。本文提出一种新颖的点云配准驱动孪生跟踪框架，其直觉在于空间对齐的对应点（通过3D配准）往往具有一致的特征表示。具体地，我们的方法包含两个模块：跟踪专用非局部配准模块与配准辅助Sinkhorn模板特征聚合模块。配准模块致力于模板与搜索区域的精确空间对齐。我们提出跟踪专用空间距离约束来精炼非局部模块中的交叉注意力权重，以学习判别性特征。随后，我们利用加权SVD计算模板与搜索区域间的刚体变换并将其对齐，从而得到期望的空间对齐对应点。对于特征聚合模型，我们将变换后模板与搜索区域间的特征匹配建模为最优传输问题，并利用Sinkhorn优化搜索出离群鲁棒的匹配解。同时，构建配准辅助空间距离图以提升在难以区分区域（如平滑表面）的匹配鲁棒性。最后，在所得特征匹配图引导下，我们将目标信息从模板聚合至搜索区域以构建目标特定特征，并输入类CenterPoint的检测头完成目标定位。在KITTI、NuScenes和Waymo数据集上的大量实验验证了所提方法的有效性。
引用
@article{arxiv.2209.06395,
title = {Point Cloud Registration-Driven Robust Feature Matching for 3D Siamese Object Tracking},
author = {Haobo Jiang and Kaihao Lan and Le Hui and Guangyu Li and Jin Xie and Jian Yang},
journal= {arXiv preprint arXiv:2209.06395},
year = {2022}
}