利用网络图像中的关键点伪标签学习关节式物体形状

本文表明，使用少至 50–150 张标注了 2D 关键点的图像，即可学习用于关节式物体（例如马、牛、羊）单目 3D 重建的模型。我们提出的方法包括训练类别特定的关键点估计器、在未标注的网络图像上生成 2D 关键点伪标签，以及使用标注和自标注集合来训练 3D 重建模型。它基于两个关键洞察：（1）在少至 50–150 张给定物体类别图像上训练的 2D 关键点估计网络泛化良好并能生成可靠的伪标签；（2）数据选择机制可以自动创建可用于训练的未标注网络图像的“精选”子集——我们评估了四种数据选择方法。将这两种洞察相结合，使我们能够训练出有效利用网络图像的模型，从而为若干关节式物体类别带来超越全监督基线的 3D 重建性能。我们的方法可以快速引导出一个模型，且仅需少量标注了 2D 关键点的图像。这一要求对于任意新物体类别都易于满足。为展示我们方法在预测任意物体类别 3D 形状方面的实用性，我们在 COCO 的长颈鹿和熊图像上标注了 2D 关键点——每张图像的标注过程耗时不到 1 分钟。