Point-GCC：基于几何-颜色对比的通用自监督三维场景预训练
计算机视觉与模式识别
2023-06-02 v2 机器学习
摘要
点云提供的几何与颜色信息对三维场景理解均至关重要。这两类信息刻画了点云的不同方面，但现有方法缺乏针对其区分性与关联性的精细设计。为此，我们探索了一种能更好利用点云信息关系的三维自监督范式。具体而言，我们提出了一种基于几何-颜色对比(Point-GCC)的通用三维场景预训练框架，其利用孪生网络对齐几何与颜色信息。顾及实际下游任务，我们设计了(i)具有点级对比与重建、以及基于新颖深度聚类模块的目标级对比的分层监督，以缩小预训练与下游任务间的差距；(ii)架构无关的主干网络，以适应各类下游模型。得益于与下游任务关联的目标级表征，Point-GCC可直接评估模型性能，结果证明了方法的有效性。在广泛任务上的迁移学习结果也显示出在所有数据集上的一致提升，例如在SUN RGB-D与S3DIS数据集上取得新的最优目标检测结果。代码将发布于https://github.com/Asterisci/Point-GCC。
引用
@article{arxiv.2305.19623,
title = {Point-GCC: Universal Self-supervised 3D Scene Pre-training via Geometry-Color Contrast},
author = {Guofan Fan and Zekun Qi and Wenkai Shi and Kaisheng Ma},
journal= {arXiv preprint arXiv:2305.19623},
year = {2023}
}