基于单张深度图像以 100 FPS 运行的级联式 3D 全身姿态回归
图形学
2018-01-26 v2
摘要
虚拟现实中有越来越多实时直播应用，其中捕获与重定向 3D 人体姿态起着重要作用。但从深度相机等消费级成像设备估计准确的 3D 姿态仍然具有挑战性。本文提出一种新颖的级联式 3D 全身姿态回归方法，可从单张深度图像以 100 fps 估计准确姿态。其核心思想是基于 Gradient Boosting 算法从预录制的人体运动捕获数据库训练级联回归器。通过将人体姿态的分层运动学模型纳入学习过程，我们可以直接估计准确的 3D 关节角度而非关节位置。该模型最大的优势是在整个 3D 姿态估计过程中骨骼长度得以保持，从而带来更有效的特征与更高的姿态估计精度。我们的方法在与跟踪方法结合时可用作初始化过程。我们在来自 CMU mocap 数据库、Human3.6M 数据集以及实时捕获的真实人体运动数据的大量合成人体运动数据上展示了方法的能力。在与先前 3D 姿态估计方法及 Kinect 2017 等商业系统的对比中，我们取得了 SOTA 精度。
引用
@article{arxiv.1711.08126,
title = {Cascaded 3D Full-body Pose Regression from Single Depth Image at 100 FPS},
author = {Shihong Xia and Zihao Zhang and Le Su},
journal= {arXiv preprint arXiv:1711.08126},
year = {2018}
}