基于分层部件-视图注意力的细粒度三维形状分类

细粒度三维形状分类对于形状理解与分析十分重要，是一个具有挑战性的研究问题。然而，由于缺少细粒度三维形状基准，细粒度三维形状分类的研究鲜有探索。为解决此问题，我们首先引入一个带有细粒度类别标签的新三维形状数据集（名为FG3D数据集），其包含飞机、汽车和椅子三个类别。每个类别由若干细粒度级别的子类别组成。根据该细粒度数据集下的实验，我们发现最先进的方法显著受限于同一类别中子类别间的小方差。为解决此问题，我们进一步提出一种名为FG3D-Net的新颖细粒度三维形状分类方法，从多个渲染视图中捕捉三维形状的细粒度局部细节。具体而言，我们首先训练一个区域提议网络（RPN）在一般语义部件检测基准下检测多视图中的一般语义部件。然后，我们设计一种分层部件-视图注意力聚合模块，通过聚合一般语义部件特征来学习全局形状表示，从而保留三维形状的局部细节。该部件-视图注意力模块分层利用部件级和视图级注意力以提升我们特征的可判别性。部件级注意力突出每个视图中的重要部件，而视图级注意力突出同一物体所有视图中的判别性视图。此外，我们集成一个循环神经网络（RNN）来捕捉来自不同视点的序列视图间的空间关系。我们在该细粒度三维形状数据集下的结果表明，我们的方法优于其他最先进的方法。