PointGAC:面向掩码点云建模的几何感知码本
计算机视觉与模式识别
2025-07-09 v2
摘要
大多数掩码点云建模(MPM)方法遵循回归范式来重建掩码区域的坐标或特征。然而,它们倾向于过度约束模型学习掩码区域的细节,导致无法捕获泛化特征。为了解决这一局限性,我们提出了\textbf{\textit{PointGAC}},一种新颖的基于聚类的MPM方法,旨在对齐掩码区域的特征分布。特别地,它采用了一个在线码本引导的师生框架。首先,它提出了一种几何感知的分区策略来提取初始块。然后,教师模型基于从完整块中提取的特征,通过在线k-means更新码本。这个过程促使码本向量成为聚类中心。之后,我们将未掩码特征分配至其对应的聚类中心,学生模型则对齐重建的掩码特征的分配。该策略侧重于识别掩码特征所属的聚类中心,使模型能够学习更通用的特征表示。得益于所提出的码本维护机制,码本向量被主动更新,这进一步提高了语义特征学习的效率。实验验证了该方法在各种下游任务上的有效性。代码可在 https://github.com/LAB123-tech/PointGAC 获取。
引用
@article{arxiv.2507.04801,
title = {PointGAC: Geometric-Aware Codebook for Masked Point Cloud Modeling},
author = {Abiao Li and Chenlei Lv and Yuming Fang and Yifan Zuo and Jian Zhang and Guofeng Mei},
journal= {arXiv preprint arXiv:2507.04801},
year = {2025}
}
备注
ICCV 2025