DMF-Net：基于双通道模态融合和形状感知上采样变换器的图像引导点云完成
计算机视觉与模式识别
2024-06-26 v1
摘要
本文研究了单视图图像引导的点云完成任务。现有方法通过显式或隐式地将图像信息融合到点云中，取得了令人期待的结果。然而，鉴于图像具有全局形状信息，而部分点云则包含丰富的局部细节，我们认为在进行模态融合时需要对两种模态给予相等的注意力。为此，我们提出了一种 novel 的双通道模态融合网络，用于图像引导的点云完成(称为DMF-Net)，以粗到细的方式实现。在第一阶段，DMF-Net以部分点云和对应的图像作为输入，以恢复粗糙的点云。在第二阶段，粗糙的点云将通过形状感知上采样变换器进行两次上采样，以获得密集且完整的点云。大量定量和定性实验结果表明，DMF-Net在ShapeNet-ViPC数据集上优于当前最先进的单模态和多模态点云完成方法。
引用
@article{arxiv.2406.17319,
title = {DMF-Net: Image-Guided Point Cloud Completion with Dual-Channel Modality Fusion and Shape-Aware Upsampling Transformer},
author = {Aihua Mao and Yuxuan Tang and Jiangtao Huang and Ying He},
journal= {arXiv preprint arXiv:2406.17319},
year = {2024}
}