从非刚体运动结构蒸馏知识用于弱监督三维姿态学习
计算机视觉与模式识别
2019-08-20 v1
摘要
我们提出通过从非刚体运动结构（NRSfM）蒸馏知识来学习一个三维姿态估计器。我们的方法仅使用二维关键点标注。不需要三维数据、多视图/时序视频片段或特定物体先验。这缓解了数据瓶颈，而数据瓶颈是有监督方法的主要关切之一。将 NRSfM 用作教师模型的挑战在于，当二维投影具有强歧义时，它们常做出较差的深度重建。直接将这些错误深度作为硬目标会对学生模型产生负面影响。相反，我们提出了一种新颖的损失函数，将深度预测与 NRSfM 中使用的代价函数相关联。这使学生姿态估计器能够通过与图像特征关联来自由减小深度误差。在 H3.6M 数据集上验证，我们学习到的三维姿态估计网络相比 NRSfM 方法实现了更精确的重建。尽管使用的监督显著更少，它也优于其他弱监督方法。
引用
@article{arxiv.1908.06377,
title = {Distill Knowledge from NRSfM for Weakly Supervised 3D Pose Learning},
author = {Chaoyang Wang and Chen Kong and Simon Lucey},
journal= {arXiv preprint arXiv:1908.06377},
year = {2019}
}