看见不可见姿态：从自我中心视频估计3D身体姿态
计算机视觉与模式识别
2016-03-28 v1
摘要
理解相机佩戴者的活动是自我中心视觉的核心，然而该活动的一个关键方面对相机而言天然不可见——佩戴者的身体姿态。先前工作聚焦于在手和手臂进入视野时估计其姿态，但这 1) 对全身姿势给出了不完整视图，且 2) 因为在日常生活活动中手仅在部分时间可见，导致许多帧中完全无法估计姿态。我们提出推断自我中心相机后方的人的“不可见姿态”。给定单段视频，我们高效的基于学习的方法为每帧返回全身 3D 关节位置。我们的方法利用周围场景的动态运动特征（其随身体姿态可预测地变化）以及揭示视点（例如坐与站）的静态场景结构作为线索。我们进一步引入一种新颖的能量最小化方案来推断姿态序列。它使用各时刻姿态的软预测，结合更长窗口上人体姿态动力学的非参数模型。我们的方法优于一系列可能的替代方案，包括从图像直接回归姿态的深度学习方法。
引用
@article{arxiv.1603.07763,
title = {Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video},
author = {Hao Jiang and Kristen Grauman},
journal= {arXiv preprint arXiv:1603.07763},
year = {2016}
}