CSDN：用于点云补全的跨模态形状迁移双重细化网络
计算机视觉与模式识别
2023-01-18 v2
摘要
你将如何修复一个缺失部分的实体物体？你可能会从先前拍摄的图像中想象其原始形状，先恢复其整体（全局）但粗糙的形状，再细化其局部细节。我们受此物理修复过程启发来解决点云补全问题。为此，我们提出一种跨模态形状迁移双重细化网络（简称 CSDN），一种图像全周期参与的由粗到细范式，用于高质量点云补全。CSDN 主要由“形状融合”与“双重细化”模块构成，以应对跨模态挑战。第一个模块将单张图像的内在形状特征迁移以引导点云缺失区域的几何生成，其中我们提出 IPAdaIN 将图像与部分点云的全局特征嵌入补全过程。第二个模块通过调整生成点的位置来细化粗糙输出，其中局部细化单元利用图卷积挖掘新生成点与输入点之间的几何关系，全局约束单元利用输入图像微调生成的偏移。与多数现有方法不同，CSDN 不仅挖掘图像的互补信息，还在整个由粗到细的补全过程中有效利用跨模态数据。实验结果表明，在跨模态基准上 CSDN 优于十个对比方法。
引用
@article{arxiv.2208.00751,
title = {CSDN: Cross-modal Shape-transfer Dual-refinement Network for Point Cloud Completion},
author = {Zhe Zhu and Liangliang Nan and Haoran Xie and Honghua Chen and Mingqiang Wei and Jun Wang and Jing Qin},
journal= {arXiv preprint arXiv:2208.00751},
year = {2023}
}