SC3K: 从旋转、含噪和下采样点云数据中自监督且语义连贯的三维关键点估计
计算机视觉与模式识别
2023-08-11 v1 图形学
机器人学
摘要
本文提出了一种新方法,用于在实际场景中对任意物体类别推断关键点,其中点云数据(PCD)含有噪声、被下采样且任意旋转。我们提出的模型遵循以下原则:i)关键点推断完全无监督(不提供标注),ii)关键点位置误差应较低且对PCD扰动具有弹性(鲁棒性),iii)关键点对于同类物体不应改变其索引(语义连贯性),iv)关键点应接近或邻近PCD表面(紧致性)。我们通过提出一种新的用于关键点估计的自监督训练策略来实现这些期望性质,该策略不假设任何关于物体类别的先验知识,以及一种带有耦合辅助损失的模型架构,以促进所需的关键点属性。我们将所提方法估计的关键点与最先进的(state-of-the-art, SOTA)无监督方法估计的关键点进行比较。实验表明,我们的方法通过估计具有改进覆盖度(+9.41%)且语义一致(+4.66%)的关键点而优于后者,这些关键点最能刻画物体用于下游任务的三维形状。代码和数据可在:https://github.com/IITPAVIS/SC3K 获取。
引用
@article{arxiv.2308.05410,
title = {SC3K: Self-supervised and Coherent 3D Keypoints Estimation from Rotated, Noisy, and Decimated Point Cloud Data},
author = {Mohammad Zohaib and Alessio Del Bue},
journal= {arXiv preprint arXiv:2308.05410},
year = {2023}
}
备注
This paper has been accepted in International Conference on Computer Vision (ICCV) 2023. For code and data, please refer to the following GitHub page: https://github.com/IITPAVIS/SC3K