排列至关重要：用于点云学习的各向异性卷积层
计算机视觉与模式识别
2020-06-08 v2 机器学习
图像与视频处理
摘要
在许多三维计算机视觉应用中，对点云进行高效表示学习的需求日益增长。卷积神经网络（CNNs）成功的关键在于数据（如图像）具有欧几里得结构。然而，点云是不规则且无序的。人们已开发出各种点神经网络，采用各向同性滤波器或加权矩阵来克服点云上的结构不一致性。然而，各向同性滤波器或加权矩阵限制了表示能力。本文提出一种可排列各向异性卷积操作（PAI-Conv），其根据球面上一组均匀分布的核心点，利用点积注意力为每个点计算软排列矩阵，并执行共享的各向异性滤波器。事实上，与核心点的点积类似于自然语言处理（NLP）中广泛使用的Transformer里与键的点积。从这个角度看，PAI-Conv可被视为点云的transformer，具有物理意义，并能稳健地与高效的随机点采样方法协作。在点云上的综合实验表明，与最先进的方法相比，PAI-Conv在分类和语义分割任务中取得了具有竞争力的结果。
引用
@article{arxiv.2005.13135,
title = {Permutation Matters: Anisotropic Convolutional Layer for Learning on Point Clouds},
author = {Zhongpai Gao and Guangtao Zhai and Junchi Yan and Xiaokang Yang},
journal= {arXiv preprint arXiv:2005.13135},
year = {2020}
}