DuInNet：用于点云完成的双模态特征交互
计算机视觉与模式识别
2024-07-11 v1
摘要
为进一步推动多模态点云完成领域的发展，我们贡献了一个大规模多模态点云完成基准数据集 ModelNet-MPC，包含更丰富的形状类别和更具多样性的测试数据，几乎包含 40 万对来自 40 个类别的高质量点云和渲染图像。除了完全监督的点云完成任务外，还提出了去噪完成和零样本学习完成两个额外任务，以模拟实际场景并验证当前方法对噪声的鲁棒性以及跨类别的迁移能力。同时，考虑到现有多模态完成管道通常采用单向融合机制且忽略图像模态中包含的形状先验，我们提出了双模态特征交互网络（DuInNet）。DuInNet 通过双特征交互器在点云和图像之间进行迭代特征交互，以学习形状的几何和纹理特征。为适应特定任务（如完全监督、去噪和零样本学习点云完成），还提出了自适应点生成器，为两种模态在不同权重下以块的形式生成完整点云。在 ShapeNet-ViPC 和 ModelNet-MPC 基准上的大量实验表明，DuInNet 在所有完成任务中均优于当前最先进方法，表现出卓越的性能、鲁棒性和迁移能力。代码和数据集将很快公开。
引用
@article{arxiv.2407.07374,
title = {DuInNet: Dual-Modality Feature Interaction for Point Cloud Completion},
author = {Xinpu Liu and Baolin Hou and Hanyun Wang and Ke Xu and Jianwei Wan and Yulan Guo},
journal= {arXiv preprint arXiv:2407.07374},
year = {2024}
}
备注
Under Review, 13 pages, 7 figures