无人工标注条件下野外点云的3D人体关键点估计
计算机视觉与模式识别
2023-06-09 v1 人工智能
摘要
以监督方式从点云训练3D人体关键点检测器需要大量高质量标注。虽然捕获大量人体点云相对容易，但标注3D关键点成本高昂、带有主观性、易出错，且对于长尾情况（具有罕见姿态的行人、骑滑板车者等）尤其困难。在本工作中，我们提出GC-KPL——受几何一致性启发的关键点学习（Geometry Consistency inspired Key Point Leaning），一种无需人工标注即可从点云学习3D人体关节位置的方法。我们通过新颖的无监督损失形式实现这一点，这些损失考虑了人体的结构与运动。我们表明，在来自Waymo Open Dataset的大型训练集上训练且不使用任何人工标注的关键点时，与全监督方法相比我们能够取得合理的性能。此外，骨干网络从无监督训练中受益，并在关键点的下游少样本学习中很有用，仅用10%的标注训练数据微调即可取得与在整个集合上微调相当的性能。我们证明了GC-KPL在整数据集上训练时大幅优于SOTA，并高效利用了大量无标注数据。
引用
@article{arxiv.2306.04745,
title = {3D Human Keypoints Estimation From Point Clouds in the Wild Without Human Labels},
author = {Zhenzhen Weng and Alexander S. Gorban and Jingwei Ji and Mahyar Najibi and Yin Zhou and Dragomir Anguelov},
journal= {arXiv preprint arXiv:2306.04745},
year = {2023}
}
备注
CVPR 2023