用于从2D图像半监督学习3D形状与姿态的分段平面包络
计算机视觉与模式识别
2022-11-15 v1
摘要
我们研究从单张2D图像中估计物体以关键点表示的3D形状与姿态的问题。形状与姿态直接从按类别收集的图像及其部分2D关键点标注中学习。在本工作中，我们首先提出一个端到端训练框架，用于中间2D关键点提取和最终3D形状与姿态估计。随后该框架仅使用中间2D关键点的弱监督进行训练。此外，我们设计了一个半监督训练框架，可利用有标注和无标注数据。为利用无标注数据，我们引入并利用了规范物体形状的“分段平面包络”（piece-wise planar hull）先验。这些平面包络在每个物体类别下借助关键点手动定义一次。一方面，所提方法学习从有标注数据中分割这些平面包络；另一方面，它在无标注数据上同时强制预测关键点与分割包络之间的一致性。该一致性约束使我们能高效地将无标注数据用于当前任务。所提方法仅使用一半标注便取得了与全监督SOTA方法相当的结果。我们的源代码将公开可用。
引用
@article{arxiv.2211.07491,
title = {Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose from 2D Images},
author = {Yigit Baran Can and Alexander Liniger and Danda Pani Paudel and Luc Van Gool},
journal= {arXiv preprint arXiv:2211.07491},
year = {2022}
}