面向三维点云的空间变换器

深度神经网络广泛用于理解三维点云。在每层点卷积层，从三维点的局部邻域计算特征并组合以进行后续处理，从而提取语义信息。现有方法在网络各层采用相同的独立点邻域，由固定输入点坐标上的相同度量定义。这一常见做法易于实现但未必最优。理想情况下，局部邻域应在不同层有所不同，因为更深层次会提取更多潜在信息。我们提出一种新颖的端到端方法，学习输入点云的不同非刚性变换，以便每层采用最优局部邻域。我们提出针对三维点云的线性（仿射）与非线性（射影与可变形）空间变换器。在ShapeNet部件分割数据集上采用空间变换器后，网络对所有类别的精度均提升，其中耳机和火箭尤为显著达8%。我们的方法在其他点云任务（如分类、检测、语义分割）上也优于最先进水平。可视化表明，空间变换器能通过根据三维形状的几何与语义动态改变局部邻域，更高效学习特征，尽管存在类内差异。我们的代码公开于https://github.com/samaonline/spatial-transformer-for-3d-point-clouds。