利用多视角卷积网络从部件对应关系中学习局部形状描述符

我们提出一种新的三维形状局部描述符，可直接应用于广泛的形状分析问题，如点对应、语义分割、可供性预测以及形状到扫描的匹配。该描述符由一个卷积网络生成，该网络经过训练，能将几何和语义相似的点在描述符空间中嵌入得彼此靠近。该网络处理形状上点周围的表面邻域，这些邻域通过一系列逐步缩小的视图，从精心选择的相机位置以多个尺度捕获。我们利用两个极大规模的数据源来训练网络。首先，由于我们的网络以二维图像的形式处理渲染视图，我们重用了在大规模图像数据集上预训练的架构。其次，我们通过对大量已分割三维模型中对应形状部件进行非刚性对齐，自动生成了一个合成的密集点对应数据集。得益于这些设计选择，我们的网络能有效编码多尺度局部上下文和细粒度表面细节。我们的网络可以通过从多个形状类别学习，训练生成特定类别的描述符或更通用的描述符。训练完成后，在测试阶段，网络提取形状的局部描述符时无需任何部件分割作为输入。即使对于类别未知或与训练所用类别不同的形状，我们的方法也能生成有效的局部描述符。我们通过多项实验证明，与当前最优的替代方案相比，我们学习到的局部描述符更具判别力，并在多种形状分析应用中表现有效。