MKConv:面向点云分析的多维特征表示卷积
计算机视觉与模式识别
2023-07-18 v3
摘要
尽管深度学习取得显著成功,由于点云的不规则数据结构,其最优卷积操作仍难以捉摸。现有方法主要关注设计可有效处理连续空间中任意点的连续核函数。已有多种高性能方法被提出,但我们观察到标准逐点特征由一维通道表示,当其表示引入额外空间特征维度时可承载更丰富信息。本文提出多维核卷积(MKConv),一种新颖卷积算子,可学习将点特征表示由向量变换为多维矩阵。与标准点卷积不同,MKConv 分两步进行。(i)首先利用多维核权重激活局部特征表示的空间维度。这些空间扩展特征可通过特征空间中的空间关联与通道关联表示其嵌入信息,携带更详细的局部结构信息。(ii)随后对可视为网格结构矩阵的多维特征施加离散卷积。如此,我们无需遭受信息损失的体素化即可对点云数据利用离散卷积。此外,我们提出空间注意力模块——多维局部注意力(MLA),通过对空间特征维度重新加权,在局部点集内提供全面的结构感知。我们证明了 MKConv 在物体分类、物体部件分割及场景语义分割等点云处理任务上具有优异的适用性与优越结果。
引用
@article{arxiv.2107.12655,
title = {MKConv: Multidimensional Feature Representation for Point Cloud Analysis},
author = {Sungmin Woo and Dogyoon Lee and Sangwon Hwang and Woojin Kim and Sangyoun Lee},
journal= {arXiv preprint arXiv:2107.12655},
year = {2023}
}
备注
Accepted by Pattern Recognition 2023