GMF：用于对应离群点剔除的通用多模态融合框架
计算机视觉与模式识别
2022-11-02 v1
摘要
剔除对应离群点可提升对应质量，这是实现高点云配准精度的关键步骤。当前最先进的对应离群点剔除方法仅利用对应点的结构特征。然而，在人类视觉系统中，纹理信息对剔除对应离群点至关重要。本文提出通用多模态融合（GMF），通过学习利用结构与纹理信息来剔除对应离群点。具体而言，提出两个基于交叉注意力的融合层，以融合来自配对图像的纹理信息与来自点对应的结构信息。此外，我们提出一种卷积位置编码层，以增强Token间的差异并使编码特征关注邻域信息。该位置编码层将使交叉注意力操作同时整合局部与全局信息。在多个数据集（3DMatch、3DLoMatch、KITTI）与近期最先进模型（3DRegNet、DGR、PointDSC）上的实验证明，我们的GMF具有广泛的泛化能力并持续提升点云配准精度。进一步的若干消融研究展示了所提GMF在不同损失函数、光照条件与噪声下的鲁棒性。代码见 https://github.com/XiaoshuiHuang/GMF。
引用
@article{arxiv.2211.00207,
title = {GMF: General Multimodal Fusion Framework for Correspondence Outlier Rejection},
author = {Xiaoshui Huang and Wentao Qu and Yifan Zuo and Yuming Fang and Xiaowei Zhao},
journal= {arXiv preprint arXiv:2211.00207},
year = {2022}
}
备注
Accepted by IEEE RAL