Scan2CAD：在 RGB-D 扫描中学习 CAD 模型对齐

我们提出 Scan2CAD，一种新颖的数据驱动方法，学习将形状数据库中的干净 3D CAD 模型对齐到消费级 RGB-D 扫描的含噪且不完整几何上。对于室内场景的 3D 重建，我们的方法输入一组 CAD 模型，并预测将每个模型对齐到底层扫描几何的 9 自由度（9DoF）位姿。为解决此问题，我们基于 1506 个 ScanNet 扫描创建了一个新的扫描到 CAD 对齐数据集，其中包含来自 ShapeNet 的 14225 个 CAD 模型与其在扫描中对应物体之间的 97607 个标注关键点对。我们的方法在 3D 扫描中选择一组代表性关键点，并为它们找到到 CAD 几何的对应。为此，我们设计了一种新颖的 3D CNN 架构，学习真实与合成物体之间的联合嵌入，并由此预测对应热力图。基于这些对应热力图，我们构造了一个变分能量最小化，将给定的一组 CAD 模型对齐到重建结果。我们在新引入的 Scan2CAD 基准上评估了我们的方法，其性能优于手工特征描述子以及最先进的基于 CNN 的方法达 21.39%。