面向扫描物体的弱监督端到端CAD检索
计算机视觉与模式识别
2022-03-25 v1
摘要
将CAD模型检索到真实场景观测上,已显示出作为物体三维感知基础以及干净、轻量基于网格的场景表示的强大前景;然而,当前将CAD模型检索到查询扫描的方法依赖于昂贵的CAD-扫描物体1:1关联人工标注,此类关联通常包含较强的底层几何差异。因此我们提出一种新的弱监督方法,将语义与结构相似的CAD模型检索到查询三维扫描场景,无需任何CAD-扫描关联,仅需作为有向包围盒的物体检测信息。我们的方法利用全可微分的top-检索层,通过检索到的top CAD模型与扫描查询的几何与感知相似性引导端到端训练。我们证明,在具有挑战性的真实ScanNet扫描上,我们的弱监督方法优于全监督检索方法,并对未见类别保持鲁棒性,在零样本CAD检索上取得显著优于全监督最先进方法的性能。
引用
@article{arxiv.2203.12873,
title = {Weakly-Supervised End-to-End CAD Retrieval to Scan Objects},
author = {Tim Beyer and Angela Dai},
journal= {arXiv preprint arXiv:2203.12873},
year = {2022}
}
备注
Accompanying video at https://youtu.be/3bCUMxpscdQ