SP$^2$T：用于双流点变换器的稀疏代理注意力
计算机视觉与模式识别
2025-07-14 v2 人工智能
摘要
点变换器通过扩展感受野(RF)在3D理解方面取得了显著进展，但进一步扩展RF会导致组注意力稀释并降低细节特征提取能力。代理作为简化特征图的抽象表示，能够实现全局RF。然而，现有的基于代理的方法面临关键限制：全局代理对于大规模点云具有二次复杂度并遭受位置模糊性，而局部代理替代方案则面临以下问题：1) 从几何多样化的点云中采样不可靠，2) 代理交互计算效率低，3) 局部-全局信息融合不平衡。为了解决这些挑战，我们提出了稀疏代理点变换器(SPT)——一种基于局部代理的双流点变换器，具有三个关键创新：首先，对于可靠采样，基于顶点的空间代理采样能够在几何多样化的点云上实现鲁棒采样。其次，对于高效代理交互，具有基于表格的相对偏置的稀疏代理注意力通过高效的map-reduce计算有效实现了交互。第三，对于局部-全局信息融合，我们的双流架构通过并行分支保持局部-全局平衡。综合实验表明，SPT在室内和室外3D理解基准上以可接受的延迟达到了最先进的结果，与其他基于代理的点云方法相比有显著改进（在S3DIS上比SPoTr高+3.8% mIoU，在Sem.KITTI上比PointASNL高+22.9% mIoU）。
引用
@article{arxiv.2412.11540,
title = {SP$^2$T: Sparse Proxy Attention for Dual-stream Point Transformer},
author = {Jiaxu Wan and Hong Zhang and Ziqi He and Yangyan Deng and Qishu Wang and Ding Yuan and Yifan Yang},
journal= {arXiv preprint arXiv:2412.11540},
year = {2025}
}
备注
Accept by ICCV2025