3D扫描与CAD物体的联合嵌入
计算机视觉与模式识别
2019-08-21 v1
摘要
3D扫描几何与CAD模型通常包含关于环境理解的互补信息，可通过建立两域之间的映射加以利用。然而，由于扫描与CAD几何之间存在强烈的底层差异，这是一项具有挑战性的任务。我们提出了一种新方法，用于学习扫描与CAD几何之间的联合嵌入空间，使得来自两个域的语义相似物体紧密相邻。为此，我们引入了一种基于3D CNN的新方法来学习表示跨域物体相似性的联合嵌入空间。为学习一个扫描物体与CAD模型可相互交错的共享空间，我们提出一种堆叠沙漏网络方法，从扫描物体中分离前景与背景，并将其转换为完整的、类CAD的表示，以产生共享嵌入空间。该嵌入空间随后可用于CAD模型检索；为进一步支持此任务，我们引入了一个带有排序扫描-CAD相似性标注的新数据集，实现了对杂乱、含噪、局部扫描的CAD模型检索的细粒度新评估。我们学习的联合嵌入在实例检索准确率上比当前SOTA的CAD模型检索方法高出12%。
引用
@article{arxiv.1908.06989,
title = {Joint Embedding of 3D Scan and CAD Objects},
author = {Manuel Dahnert and Angela Dai and Leonidas Guibas and Matthias Nießner},
journal= {arXiv preprint arXiv:1908.06989},
year = {2019}
}