光谱导导的Mamba用于鲁棒的点云处理
计算机视觉与模式识别
2025-03-26 v2
摘要
状态空间模型在自然语言处理（NLP）中展现出巨大的潜力，近期也在计算机视觉中得到应用。本文引入一种新方法，利用Mamba和掩码自编码器网络处理点云数据，适用于监督学习和自监督学习。我们提出了三项关键贡献来增强Mamba处理复杂点云结构的能力。第一项，我们利用图拉普拉斯的谱来捕捉 patch 之间的连通性，定义一种对视角不变的遍历顺序，能够鲁棒地处理视角变化，更好地捕捉形状流形，优于传统基于3D网格的遍历方式。第二项，我们基于拉普拉斯谱分量的递归 patch 分区策略来实现分割，允许更细致的集成和分段分析。第三项，我们解决掩码自编码器中 token 的放置问题，通过恢复 token 到其原始位置来实现，这保留了必要的顺序并提高了学习效果。大量实验表明，我们的方法在分类、分割和few-shot任务上均优于最先进的基线方法。
引用
@article{arxiv.2503.04953,
title = {Spectral Informed Mamba for Robust Point Cloud Processing},
author = {Ali Bahri and Moslem Yazdanpanah and Mehrdad Noori and Sahar Dastani and Milad Cheraghalikhani and David Osowiechi and Gustavo Adolfo Vargas Hakim and Farzad Beizaee and Ismail Ben Ayed and Christian Desrosiers},
journal= {arXiv preprint arXiv:2503.04953},
year = {2025}
}