ShapeSplat：基于高斯溅射的大规模数据集及其自监督预训练
计算机视觉与模式识别
2025-09-09 v2
摘要
3D 高斯溅射（3DGS）已成为许多视觉任务中 3D 表示的事实标准方法。这一趋势促使我们直接在该表示空间中进行 3D 理解。为促进此方向的研究，我们首先构建了 ShapeSplat，这是一个基于常用 ShapeNet、ModelNet 和 Objaverse 数据集构建的 3DGS 大规模数据集。我们的数据集 ShapeSplat 包含 20.6 万个物体，涵盖 87 个唯一类别，其标签符合各自数据集的规定。该数据集的创建相当于在 TITAN XP GPU 上使用计算等效量为 3.8 个 GPU 年。我们利用该数据集进行无监督预训练和监督微调，以完成分类和分割任务。为此，我们引入了 Gaussian-MAE，突出了从高斯参数进行表示学习的独特优势。通过大量实验，我们提供了若干有价值的见解。特别是，我们发现：（1）优化后的 GS 质心分布与用于初始化的均匀采样点云分布显然不同；（2）这一分布变化在仅使用质心时会导致分类性能下降但分割任务得到改善；（3）为充分利用额外的高斯参数，我们提出在归一化特征空间中进行高斯特征分组，并引入溅射池化层，为有效对相似高斯进行分组和嵌入提供了量身定制的解决方案，这在微调任务中带来了显著的性能提升。
引用
@article{arxiv.2408.10906,
title = {ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining},
author = {Qi Ma and Yue Li and Bin Ren and Nicu Sebe and Ender Konukoglu and Theo Gevers and Luc Van Gool and Danda Pani Paudel},
journal= {arXiv preprint arXiv:2408.10906},
year = {2025}
}
备注
Accepted as 3DV'25 Oral, project page: https://unique1i.github.io/ShapeSplat_webpage/