用于动态三维点云序列的基于锚的时空注意力三维卷积网络
计算机视觉与模式识别
2021-11-04 v2
摘要
随着测量技术的快速发展，LiDAR 与深度相机被广泛应用于三维环境感知。近期基于学习的机器人感知方法大多聚焦于图像或视频，而针对动态三维点云序列的深度学习方法尚待充分探索。因此，开发兼容这些先进仪器的高效且准确的感知方法对自动驾驶与服务机器人至关重要。本文提出一种基于锚的时空注意力三维卷积操作（ASTA3DConv）来处理动态三维点云序列。所提出的卷积操作通过在每个点周围设置若干虚拟锚点，在每个点周围构建规则感受野。邻域点的特征首先基于时空注意力机制聚合到各锚点。随后，采用基于锚的三维卷积将这些锚点特征聚合到核心点。所提方法更好地利用了局部区域内的结构化信息，并从动态三维点云序列中学习时空嵌入特征。基于所提 ASTA3DConv 构建了用于分类与分割任务的基于锚的时空注意力三维卷积神经网络（ASTA3DCNNs），并在动作识别与语义分割任务上进行了评估。在 MSRAction3D 与 Synthia 数据集上的实验与消融研究证明了我们的方法对动态三维点云序列的优越性能与有效性。我们的方法在以动态三维点云序列为输入的诸方法中，于 MSRAction3D 与 Synthia 数据集上取得了最先进的性能。
引用
@article{arxiv.2012.10860,
title = {Anchor-Based Spatio-Temporal Attention 3D Convolutional Networks for Dynamic 3D Point Cloud Sequences},
author = {Guangming Wang and Muyao Chen and Hanwen Liu and Yehui Yang and Zhe Liu and Hesheng Wang},
journal= {arXiv preprint arXiv:2012.10860},
year = {2021}
}
备注
10 pages, 6 figures, under review