在Transformer中利用归纳偏置进行点云分类与分割
计算机视觉与模式识别
2023-04-28 v1
摘要
从点坐标中发现点间连接以高效提取高维特征,是处理点云的关键挑战。现有多数方法侧重于设计高效的局部特征提取器而忽略全局连接,或反之。本文中,我们设计一种新的归纳偏置辅助Transformer(IBT)方法来学习三维点间关系,其同时考虑局部与全局注意力。具体而言,考虑局部空间相干性,通过相对位置编码与注意力特征池化进行局部特征学习。我们将习得的局部性融入Transformer模块。局部特征影响Transformer中的值分量以调制各点的通道间关系,从而以基于局部性的通道交互增强自注意力机制。我们在分类与分割任务上通过实验证明了其优越性。代码见:https://github.com/jiamang/IBT
引用
@article{arxiv.2304.14124,
title = {Exploiting Inductive Bias in Transformer for Point Cloud Classification and Segmentation},
author = {Zihao Li and Pan Gao and Hui Yuan and Ran Wei and Manoranjan Paul},
journal= {arXiv preprint arXiv:2304.14124},
year = {2023}
}