基于 3D 合成数据的预训练：从 3D 合成场景学习 3D 点云实例分割
计算机视觉与模式识别
2025-04-01 v1
摘要
近年来, 社区对 3D 点云数据的研究日益增长, 其在各种实际应用场景中具有高广泛性。通过 3D 点云, 可考虑实际尺寸与空间理解。应用领域包括机器人、车辆或其他实际系统的机械控制。沿着这一思路, 我们希望改进 3D 点云实例分割, 该方法已成为这些应用的尤为有前景的方案。然而, 创建 3D 点云数据集的成本远高于 2D 图像数据集。要训练 3D 点云实例分割模型, 不仅要分配类别, 还需为大规模 3D 空间中的每个点提供详细标注。与此同时, 最近在 3D 领域生成模型的提出, 推动了使用生成模型创建 3D 点云数据的方案。本文提出一种基于 3D 合成数据预训练的方法, 用于训练由点云表示的 3D 场景中 3D 点云实例分割模型。我们直接使用 Point-E 生成 3D 点云数据, 将其插入 3D 场景中。2025 年, 虽然存在其他精确的 3D 生成模型, 但即使使用 Point-E 作为早期的 3D 生成模型, 也能有效支持 3D 合成数据的预训练。在实验部分, 我们将预训练方法与基线方法进行比较, 结果显示性能提升, 表明 3D 生成模型对 3D 点云实例分割具有有效性。
引用
@article{arxiv.2503.24229,
title = {Pre-training with 3D Synthetic Data: Learning 3D Point Cloud Instance Segmentation from 3D Synthetic Scenes},
author = {Daichi Otsuka and Shinichi Mae and Ryosuke Yamada and Hirokatsu Kataoka},
journal= {arXiv preprint arXiv:2503.24229},
year = {2025}
}