基于 RGBD 的实时扩展人体姿态估计
计算机视觉与模式识别
2021-03-08 v1
摘要
我们提出一个基于 RGBD 的实时 3D 人体姿态估计系统。我们使用参数化 3D 可变形人体网格模型（SMPL-X）作为表示，并专注于从 Kinect Azure RGB-D 相机实时估计身体姿态、手部姿态和面部表情的参数。我们训练了身体姿态和面部表情参数的估计器。两个估计器均使用先前发布的 landmarks 提取器作为输入，并使用自定义标注的数据集进行监督，而手部姿态由先前发布的方法直接估计。我们将这些估计器的预测组合成时间平滑的人体姿态。我们在大型说话人脸数据集上训练面部表情提取器，并用面部表情参数对其进行标注。对于身体姿态，我们收集并标注了一个由 5 台 Kinect Azure RGB-D 相机阵列捕获的 56 人的数据集，并将其与大型动作捕捉 AMASS 数据集一起使用。我们的 RGB-D 身体姿态模型优于最先进的仅 RGB 方法，并与较慢的基于 RGB-D 优化的方案达到同等精度水平。该组合系统在配备单个 GPU 的服务器上以 30 FPS 运行。代码将发布于 https://saic-violet.github.io/rgbd-kinect-pose
引用
@article{arxiv.2103.03663,
title = {Real-time RGBD-based Extended Body Pose Estimation},
author = {Renat Bashirov and Anastasia Ianina and Karim Iskakov and Yevgeniy Kononenko and Valeriya Strizhkova and Victor Lempitsky and Alexander Vakhitov},
journal= {arXiv preprint arXiv:2103.03663},
year = {2021}
}
备注
WACV 2021