利用自注意力与Gumbel子集采样建模点云
计算机视觉与模式识别
2019-04-09 v1 机器学习
摘要
得益于3D传感器的普及，几何深度学习日益重要。受近期NLP领域进展启发，自注意力transformer被引入以处理点云。我们开发了点注意力transformer（PATs），使用参数高效的组洗牌注意力（GSA）替代昂贵的多头注意力（Multi-Head Attention）。我们展示了其处理变大小输入的能力，并证明了其置换等变性。此外，先前工作利用对输入数据的启发式依赖（如最远点采样）来分层选择输入点的子集。为此，我们首次提出一种端到端可学习且与任务无关的采样操作，称为Gumbel子集采样（GSS），以选择输入点的代表性子集。借助Gumbel-Softmax，它在训练阶段产生“软”连续子集，在测试阶段产生“硬”离散子集。通过分层方式选择代表性子集，网络以更低计算成本学习到输入集合更强的表示。分类和分割基准上的实验显示了我们方法的有效性和高效性。此外，我们提出一种新应用，将事件相机流作为点云处理，并在DVS128 Gesture Dataset上取得最先进性能。
引用
@article{arxiv.1904.03375,
title = {Modeling Point Clouds with Self-Attention and Gumbel Subset Sampling},
author = {Jiancheng Yang and Qiang Zhang and Bingbing Ni and Linguo Li and Jinxian Liu and Mengdie Zhou and Qi Tian},
journal= {arXiv preprint arXiv:1904.03375},
year = {2019}
}
备注
CVPR'2019