PoseNet3D：通过知识蒸馏学习时间一致的3D人体姿态
计算机视觉与模式识别
2020-11-13 v2 图形学
摘要
从2D关节恢复3D人体姿态是一个高度欠约束的问题。我们提出了一种新颖的神经网络框架PoseNet3D，该框架以2D关节作为输入，输出3D骨架和SMPL身体模型参数。通过将我们的学习方法构建于师生框架中，我们在训练期间避免使用任何3D数据，例如成对/非成对的3D数据、动作捕捉序列、深度图像或多视图图像。我们首先训练一个输出3D骨架的教师网络，仅使用2D姿态进行训练。该教师网络将其知识蒸馏给学生网络，该学生网络以SMPL表示预测3D姿态。最后，教师网络和学生网络使用时间、自一致性和对抗性损失以端到端的方式联合微调，提高了各个网络的精度。在Human3.6M数据集上用于3D人体姿态估计的结果表明，与先前的无监督方法相比，我们的方法将3D关节预测误差降低了18%。在真实场景（in-the-wild）数据集上的定性结果显示，恢复的3D姿态和网格自然、逼真，并在连续帧之间平滑流动。
引用
@article{arxiv.2003.03473,
title = {PoseNet3D: Learning Temporally Consistent 3D Human Pose via Knowledge Distillation},
author = {Shashank Tripathi and Siddhant Ranade and Ambrish Tyagi and Amit Agrawal},
journal= {arXiv preprint arXiv:2003.03473},
year = {2020}
}
备注
Accepted as Oral in 3DV 2020; supplementary material included; added results on 3DPW dataset in revision