Point2Vec：用于点云自监督表示学习
计算机视觉与模式识别
2026-01-23 v2
摘要
近来，自监督学习框架 data2vec 使用掩码师生方法在各种模态上展现出令人鼓舞的性能。然而，此类框架是否能推广到 3D 点云的独特挑战仍属未知。为回答该问题，我们将 data2vec 扩展到点云领域，并在若干下游任务上报告了令人鼓舞的结果。在深入分析里，我们发现位置信息的泄漏即使在大掩码率下也将物体整体形状暴露给学生网络，从而妨碍 data2vec 为点云学习到强表示。我们针对这一 3D 特有缺陷提出了 point2vec，释放了类 data2vec 预训练在点云上的全部潜力。我们的实验表明，point2vec 在 ModelNet40 和 ScanObjectNN 上的形状分类与少样本学习优于其他自监督方法，同时在 ShapeNetParts 上的部件分割取得有竞争力的结果。这些结果表明所学表示强健且可迁移，凸显了 point2vec 作为点云表示自监督学习一个有前景的方向。
引用
@article{arxiv.2303.16570,
title = {Point2Vec for Self-Supervised Representation Learning on Point Clouds},
author = {Karim Knaebel and Jonas Schult and Alexander Hermans and Bastian Leibe},
journal= {arXiv preprint arXiv:2303.16570},
year = {2026}
}
备注
Accepted at GCPR 2023. Project page at https://vision.rwth-aachen.de/point2vec