TFCT-I2P：基于三流融合网络与色彩感知 Transformer 的图像到点云配准
计算机视觉与模式识别
2024-10-02 v1
摘要
随着人工智能技术的发展，图像到点云配准（I2P）技术取得了显著进展。然而，点云特征（三维）与图像特征（二维）的维度差异仍是其开发的主要挑战。核心挑战在于无法利用一种模态的特征来增强另一种模态的特征，从而 complicating latent space 中的特征对齐。为此，本文提出一种图像到点云方法，命名为 TFCT-I2P。首先，我们引入三流融合网络（TFN），将图像中的色彩信息与点云中的结构信息相结合，促进两种模态特征的对齐。随后，为有效缓解因包含色彩信息而引入的 patch 级错位，设计了色彩感知 Transformer（CAT）。最后，我们在 7Scenes、RGB-D Scenes V2、ScanNet V2 以及自行收集的数据集上进行大量实验。结果表明，TFCT-I2P 在不良比率（Inlier Ratio）上超越最先进方法1.5%，在特征匹配召回率（Feature Matching Recall）上提升0.4%，在配准召回率（Registration Recall）上提升5.4%。因此，我们相信提出的 TFCT-I2P 能推动 I2P 配准技术的发展。
关键词
引用
@article{arxiv.2410.00360,
title = {TFCT-I2P: Three stream fusion network with color aware transformer for image-to-point cloud registration},
author = {Muyao Peng and Pei An and Zichen Wan and You Yang and Qiong Liu},
journal= {arXiv preprint arXiv:2410.00360},
year = {2024}
}