2D3D-MATR：用于图像与点云间无检测配准的2D-3D匹配Transformer
计算机视觉与模式识别
2023-08-15 v2
摘要
配准中常用的先检测后匹配方法在跨模态情形下遇到困难，原因在于不兼容的关键点检测与不一致的特征描述。我们提出2D3D-MATR，一种用于图像与点云间准确且鲁棒配准的无检测方法。我们的方法采用由粗到细的流程：首先计算输入图像降采样块与点云之间的粗对应关系，再将其扩展为块区域内像素与点之间的稠密对应关系。粗层级块匹配基于transformer，其通过自注意力联合学习全局上下文约束，并通过交叉注意力学习跨模态关联。为解决块匹配中的尺度模糊性，我们为每个图像块构建多尺度金字塔，并学习为每个点块在恰当分辨率层级寻找最佳匹配图像块。在两个公开基准上的大量实验表明，2D3D-MATR在内点率上比先前最先进的P2-Net高出约个百分点，在配准召回率上高出超过点。我们的代码与模型可在 https://github.com/minhaolee/2D3DMATR 获取。
引用
@article{arxiv.2308.05667,
title = {2D3D-MATR: 2D-3D Matching Transformer for Detection-free Registration between Images and Point Clouds},
author = {Minhao Li and Zheng Qin and Zhirui Gao and Renjiao Yi and Chenyang Zhu and Yulan Guo and Kai Xu},
journal= {arXiv preprint arXiv:2308.05667},
year = {2023}
}
备注
Accepted by ICCV 2023