面向点云学习的更多样且更具挑战性的预训练：解耦视图的自监督交叉重建
计算机视觉与模式识别
2025-09-03 v1
摘要
点云学习，尤其是无需人工标签的自监督方式，因其在广泛应用中的潜在效用，在视觉和学习社区中日益受到关注。大多数现有的点云自监督学习生成式方法专注于从单个视图内的可见点恢复被掩蔽的点。认识到双视图预训练范式本质上引入了更大的多样性和方差，因此可能实现更具挑战性和信息量的预训练。受此启发，我们探索了双视图学习在该领域的潜力。在本文中，我们提出了Point-PQAE，这是一种交叉重建生成范式，首先生成两个解耦的点云/视图，然后从一个视图重建另一个视图。为了实现这一目标，我们首次为点云视图生成开发了一种裁剪机制，并进一步提出了一种新颖的位置编码来表示两个解耦视图之间的3D相对位置。与自重建相比，交叉重建显著增加了预训练的难度，这使得我们的方法在3D自监督学习中超越了以往的单模态自重建方法。具体而言，在使用Mlp-Linear评估协议的ScanObjectNN的三个变体中，它分别比自重建基线（Point-MAE）高出6.5%、7.0%和6.7%。代码可在https://github.com/aHapBean/Point-PQAE获取。
引用
@article{arxiv.2509.01250,
title = {Towards More Diverse and Challenging Pre-training for Point Cloud Learning: Self-Supervised Cross Reconstruction with Decoupled Views},
author = {Xiangdong Zhang and Shaofeng Zhang and Junchi Yan},
journal= {arXiv preprint arXiv:2509.01250},
year = {2025}
}
备注
Accepted by ICCV 2025