基于扩散模型的点云预训练
计算机视觉与模式识别
2023-11-28 v1
摘要
预训练模型然后在下游任务上微调已在 2D 图像和 NLP 领域展现出显著成功。然而,由于点云的无序和非均匀密度特性,探索点云先验知识并预训练点云骨干网络并非易事。本文中,我们提出一种称为点云扩散预训练(PointDif)的新预训练方法。我们将点云预训练任务视为条件点到点生成问题,并引入条件点生成器。该生成器聚合骨干网络提取的特征,并将其作为条件来引导从噪声点云的点到点恢复,从而协助骨干网络捕获局部的全局几何先验以及物体的全局点密度分布。我们还提出了一种循环均匀采样优化策略,使模型能从不同噪声水平均匀恢复并从均衡监督中学习。我们的 PointDif 在各种真实世界数据集上针对分类、分割和检测等多种下游任务取得了实质性提升。具体而言,PointDif 在 S3DIS Area 5 上分割任务达到 70.0% mIoU,并在 ScanObjectNN 上分类任务相比 TAP 平均提升 2.4%。此外,我们的预训练框架可灵活应用于多样的点云骨干网络并带来可观增益。
引用
@article{arxiv.2311.14960,
title = {Point Cloud Pre-training with Diffusion Models},
author = {Xiao Zheng and Xiaoshui Huang and Guofeng Mei and Yuenan Hou and Zhaoyang Lyu and Bo Dai and Wanli Ouyang and Yongshun Gong},
journal= {arXiv preprint arXiv:2311.14960},
year = {2023}
}