基于多视图渲染的自监督学习用于三维点云分析
计算机视觉与模式识别
2022-10-31 v1 人工智能
图形学
摘要
近来，随着专为三维点云设计的深度神经网络的出现，三维深度学习取得了巨大进展。这些网络通常从零开始训练，或基于仅从点云数据学习得到的预训练模型进行训练。受图像领域深度学习成功的启发，我们设计了一种新颖的预训练技术，通过利用三维数据的多视图渲染来实现更好的模型初始化。我们的预训练通过由透视投影计算的局部像素/点级对应损失，以及基于知识蒸馏的全局图像/点云级损失进行自监督，从而有效改进了包括 PointNet、DGCNN 和 SR-UNet 在内的流行点云网络。这些改进模型在各种数据集和下游任务上优于现有的最优方法。我们还分析了合成数据与真实数据对预训练的好处，并观察到在合成数据上预训练对高层下游任务同样有用。代码与预训练模型可在 https://github.com/VinAIResearch/selfsup_pcd 获取。
引用
@article{arxiv.2210.15904,
title = {Self-Supervised Learning with Multi-View Rendering for 3D Point Cloud Analysis},
author = {Bach Tran and Binh-Son Hua and Anh Tuan Tran and Minh Hoai},
journal= {arXiv preprint arXiv:2210.15904},
year = {2022}
}
备注
ACCV 2022 paper. 14 pages of content, 4 pages of references, 6 pages of supplementary material