面向三维点云分割的分层 Transformer
计算机视觉与模式识别
2022-03-29 v1 人工智能
摘要
三维点云分割近年来取得了巨大进展。大多数当前方法侧重于聚合局部特征，但未能直接建模长程依赖。在本文中，我们提出分层 Transformer（Stratified Transformer），它能够捕获长程上下文，并展现出强大的泛化能力和高性能。具体而言，我们首先提出了一种新颖的键采样策略。对于每个查询点，我们以分层方式密集采样邻近点、稀疏采样远距点作为其键，这使模型能够以较低的计算成本扩大有效感受野并享受长程上下文。此外，为应对不规则点排列带来的挑战，我们提出首层点嵌入以聚合局部信息，这有助于收敛并提升性能。同时，我们采用上下文相对位置编码以自适应捕获位置信息。最后，引入一种内存高效的实现以克服每个窗口中点数量变化的问题。大量实验在 S3DIS、ScanNetv2 和 ShapeNetPart 数据集上证明了我们方法的有效性和优越性。代码见 https://github.com/dvlab-research/Stratified-Transformer。
引用
@article{arxiv.2203.14508,
title = {Stratified Transformer for 3D Point Cloud Segmentation},
author = {Xin Lai and Jianhui Liu and Li Jiang and Liwei Wang and Hengshuang Zhao and Shu Liu and Xiaojuan Qi and Jiaya Jia},
journal= {arXiv preprint arXiv:2203.14508},
year = {2022}
}
备注
Accepted to CVPR2022. Code is avaiable at https://github.com/dvlab-research/Stratified-Transformer