PointRWKV：面向层次化点云学习的高效RWKV模型
计算机视觉与模式识别
2024-09-04 v2
摘要
变换器在点云学习任务中取得了突破，但其二次复杂度阻碍了在长序列上的扩展并给有限的计算资源带来负担。近期出现的RWKV作为一种新型深度序列模型，在NLP任务中展现出巨大的序列建模潜力。本文提出PointRWKV，一种源自RWKV模型的线性复杂度模型，并为点云学习任务进行必要的修改。具体而言，作为输入的嵌入点块，我们首先提出利用修改后的多头矩阵值状态和动态注意力递归机制来探索PointRWKV块中全局处理能力。为同时提取局部几何特征，我们设计一个平行分支，通过固定半径近邻图高效地对点云进行编码。进一步，我们将PointRWKV设计为一种多尺度框架，用于3D点云的层次特征学习，促进各种下游任务。广泛的实验表明，我们提出的PointRWKV在各种点云学习任务上超越了基于变换器和mamba的对手，同时大幅节省约42%的FLOPs，展示了构建基础3D模型的潜在选项。
引用
@article{arxiv.2405.15214,
title = {PointRWKV: Efficient RWKV-Like Model for Hierarchical Point Cloud Learning},
author = {Qingdong He and Jiangning Zhang and Jinlong Peng and Haoyang He and Xiangtai Li and Yabiao Wang and Chengjie Wang},
journal= {arXiv preprint arXiv:2405.15214},
year = {2024}
}