通过视点辨识网络学习判别性三维形状表示

在基于视图的三维形状识别中，从投影图像中提取三维形状的判别性视觉表示被视为核心问题。判别能力低的投影会对最终的三维形状表示产生不利影响。尤其在存在背景杂波和物体遮挡的真实情况下，不利影响更为严重。为解决该问题，我们提出一种新颖的深度神经网络——视点辨识网络（View Discerning Network），其学习判断视图质量并调整它们对形状表示的贡献。该网络中设计了一个分数生成单元，用分数向量评估每个投影图像的质量。这些分数向量用于对图像特征加权，加权后的特征在三维形状识别任务中表现远优于原始特征。特别地，我们引入了两种分数生成单元结构，通道级分数单元和部件级分数单元，从不同角度评估特征图的质量。我们的网络在端到端框架中聚合特征与分数，从而直接由其输出获得最终形状描述符。在ModelNet和ShapeNet Core55上的实验表明，视点辨识网络在检索任务上优于当前最优方法（SOTA），并对背景杂波和物体遮挡具有优异的鲁棒性。