借助参考物：检索增强的跨模态点云完成
计算机视觉与模式识别
2025-07-22 v1 人工智能
摘要
基于不完整点云完成整个3D结构是一项具有挑战性的任务，尤其是当残差点云缺乏典型结构特征时。最近基于跨模态学习的方法试图引入实例图像以辅助结构特征学习。然而，这些方法仍侧重于每个特定输入类别，限制了其生成能力。本文我们提出一种新颖的检索增强点云完成框架。核心思想是将跨模态检索融入完成任务，以从类似参考样本中学习结构先验信息。具体而言，我们设计了结构共享特征编码器（SSFE）以联合提取跨模态特征并重建参考特征作为先验。凭借编码器中的双通道控制门，参考样本中相关的结构特征得到增强，而无关信息的干扰被抑制。此外，我们提出了分层检索增强生成器（PRAG），采用层次特征融合机制将参考先验信息从全局到局部地与输入特征集成。通过在多个数据集和真实场景上的广泛评估，我们的方法在生成细粒度点云方面表现有效，并且在处理稀疏数据和未见类别时展现出良好的泛化能力。
引用
@article{arxiv.2507.14485,
title = {Benefit from Reference: Retrieval-Augmented Cross-modal Point Cloud Completion},
author = {Hongye Hou and Liu Zhan and Yang Yang},
journal= {arXiv preprint arXiv:2507.14485},
year = {2025}
}