IMFNet：用于点云配准的可解释多模态融合网络
计算机视觉与模式识别
2021-11-19 v1
摘要
现有最先进的点描述子仅依赖结构信息，忽略了纹理信息。然而，纹理信息对于我们人类区分场景局部至关重要。此外，当前基于学习的点描述子均为黑盒，不清楚原始点如何贡献于最终描述子。本文提出一种新的多模态融合方法，通过同时考虑结构与纹理信息来生成点云配准描述子。具体而言，设计了一种新颖的注意力融合模块，提取加权纹理信息用于描述子提取。此外，我们提出一个可解释模块，以解释原始点对最终描述子的贡献。我们将描述子元素作为损失反向传播至目标层，并将梯度视为该点对最终描述子的重要性。本文在配准任务中向可解释深度学习迈进了一步。在 3DMatch、3DLoMatch 和 KITTI 上的综合实验表明，该多模态融合描述子达到了最先进的精度并提升了描述子的区分性。我们也展示了可解释模块在解释配准描述子提取方面的作用。
引用
@article{arxiv.2111.09624,
title = {IMFNet: Interpretable Multimodal Fusion for Point Cloud Registration},
author = {Xiaoshui Huang and Wentao Qu and Yifan Zuo and Yuming Fang and Xiaowei Zhao},
journal= {arXiv preprint arXiv:2111.09624},
year = {2021}
}
备注
Technical report