OctFormer：基于八叉树的 3D 点云 Transformer

我们提出基于八叉树的 Transformer，称为 OctFormer，用于 3D 点云学习。OctFormer 不仅可作为 3D 点云分割与目标检测的通用有效骨干，还具有线性复杂度，并可扩展至大规模点云。将 Transformer 应用于点云的关键挑战在于降低注意力惊人的二次计算复杂度。为应对此问题，若干工作将点云划分为不重叠窗口并约束各局部窗口内的注意力。然而，每窗口点数差异巨大，阻碍在 GPU 上的高效执行。观察到注意力对局部窗口形状具有鲁棒性，我们提出新颖的八叉树注意力，其利用八叉树排序洗牌键将点云划分为含固定点数的局部窗口，同时允许窗口形状自由变化。我们还引入空洞八叉树注意力以进一步扩展感受野。我们的八叉树注意力可用开源库以 10 行代码实现，且当点数超过 20 万时比其他点云注意力快 17 倍。基于八叉树注意力，OctFormer 可轻松扩展，并在一系列 3D 分割与检测基准上取得最先进（SOTA）性能，在效率与效果上均超越先前的基于稀疏体素的 CNN 与点云 Transformer。值得注意的是，在具挑战性的 ScanNet200 数据集上，OctFormer 以 mIoU 指标超越基于稀疏体素的 CNN 达 7.3。我们的代码与训练模型见 https://wang-ps.github.io/octformer。