PointGame:点云上几何自适应掩码自编码器
计算机视觉与模式识别
2023-03-24 v1
摘要
自监督学习在点云理解中正引起广泛关注。然而,由于其不规则性和稀疏性的本质,探索具有判别性和可迁移性的特征仍然具有挑战性。我们提出了一种用于点云自监督学习的几何自适应掩码自编码器,称为 PointGame。PointGame 包含两个核心组件:GATE 和 EAT。GATE 代表几何自适应令牌嵌入模块;它不仅吸收了能够有效捕捉表面形状的几何描述子的传统智慧,还利用自适应显著性来聚焦于点云的显著部分。EAT 代表基于外部注意力的 Transformer 编码器,具有线性计算复杂度,提升了整个流程的效率。与前沿的无监督学习模型不同,PointGame 利用几何描述子感知表面形状,并从训练数据中自适应地挖掘判别性特征。在全局和局部微调策略下的各种下游任务中,PointGame 展现出相对于竞争对手的明显优势。代码与预训练模型将公开可用。
引用
@article{arxiv.2303.13100,
title = {PointGame: Geometrically and Adaptively Masked Auto-Encoder on Point Clouds},
author = {Yun Liu and Xuefeng Yan and Zhilei Chen and Zhiqi Li and Zeyong Wei and Mingqiang Wei},
journal= {arXiv preprint arXiv:2303.13100},
year = {2023}
}