P2M2-Net:部件感知提示引导的多模态点云补全
计算机视觉与模式识别
2024-01-01 v1
摘要
从严重遮挡的点云中推断缺失区域极具挑战性。特别是对于具有丰富几何和结构细节的三维形状,未知部分存在固有的模糊性。现有方法要么以监督方式学习一对一映射,要么训练生成模型合成缺失点以完成三维点云形状。然而,这些方法缺乏对补全过程的可控性,结果要么是确定性的,要么表现出不受控制的多样性。受提示驱动数据生成和编辑的启发,我们提出了一种新颖的提示引导点云补全框架,称为P2M2-Net,以实现更可控和更多样化的形状补全。给定输入的部分点云和描述缺失区域部件感知信息(如语义和结构)的文本提示,我们基于Transformer的补全网络可以高效融合多模态特征,并按照提示引导生成多样化的结果。我们在新的大规模PartNet-Prompt数据集上训练P2M2-Net,并在两个具有挑战性的形状补全基准上进行了广泛实验。定量和定性结果表明,引入提示用于更可控的部件感知点云补全和生成是有效的。代码和数据可在https://github.com/JLU-ICL/P2M2-Net获取。
引用
@article{arxiv.2312.17611,
title = {P2M2-Net: Part-Aware Prompt-Guided Multimodal Point Cloud Completion},
author = {Linlian Jiang and Pan Chen and Ye Wang and Tieru Wu and Rui Ma},
journal= {arXiv preprint arXiv:2312.17611},
year = {2024}
}
备注
Best Poster Award of CAD/Graphics 2023