用于三维点云分析的收集-分发Transformer
计算机视觉与模式识别
2023-11-01 v2
摘要
近来通过探索Transformer架构,点云分析取得了显著进展,但在有效学习点云局部与全局结构方面仍具挑战。本文提出一种配备收集-分发机制的新Transformer网络,用于沟通点云的短程与长程上下文,我们称之为CDFormer。具体而言,我们首先采用自注意力捕获各局部块内的短程交互,然后将更新后的局部特征收集至一组代理参考点,从中提取长程上下文。随后,我们通过交叉注意力将学到的长程上下文分发回局部点。为解决短程与长程上下文的位置线索问题,我们额外引入上下文感知位置编码,以促进点间位置感知的通信。我们在五个流行的点云数据集(ModelNet40、ScanObjectNN、ShapeNetPart、S3DIS与ScanNetV2)上进行了分类与分割实验。结果表明所提CDFormer的有效性,在点云分类与分割任务上取得了若干新的最先进性能。源代码见\url{https://github.com/haibo-qiu/CDFormer}。
引用
@article{arxiv.2306.01257,
title = {Collect-and-Distribute Transformer for 3D Point Cloud Analysis},
author = {Haibo Qiu and Baosheng Yu and Dacheng Tao},
journal= {arXiv preprint arXiv:2306.01257},
year = {2023}
}
备注
Code is available at https://github.com/haibo-qiu/CDFormer