面向跨模态点云补全的显式引导信息交互网络
计算机视觉与模式识别
2024-07-24 v3
摘要
本文提出了一种新颖的框架EGIInet（Explicitly Guided Information Interaction Network），用于视图引导点云补全（ViPC）任务，旨在从单视图图像中恢复完整的点云。与依赖输入图像全局语义的前述方法相比，EGIInet通过利用补全任务的几何特性，有效地结合了两种模态的信息。具体而言，我们提出了一种受模态对齐支持的显式引导信息交互策略。首先，与仅简单使用2D和3D主干网络分别编码特征的前述方法不同，我们统一了编码过程以促进模态对齐。其次，提出一种新颖的显式引导信息交互策略，帮助网络识别图像中的关键信息，从而实现对补全的更好指导。大量实验表明，我们的框架有效果，尽管参数少于前述方法，却在基准数据集上实现了新的状态突破（+16% CD相对于XMFnet）。预训练模型和代码均可在https://github.com/WHU-USI3DV/EGIInet获取。
引用
@article{arxiv.2407.02887,
title = {Explicitly Guided Information Interaction Network for Cross-modal Point Cloud Completion},
author = {Hang Xu and Chen Long and Wenxiao Zhang and Yuan Liu and Zhen Cao and Zhen Dong and Bisheng Yang},
journal= {arXiv preprint arXiv:2407.02887},
year = {2024}
}
备注
ECCV 2024