EgoCap：基于双鱼眼相机的自我中心无标记动作捕捉
计算机视觉与模式识别
2016-09-26 v1
摘要
基于标记和无标记的光学骨骼动作捕捉方法采用围绕场景放置的外向内相机排列，其视点向中心汇聚。它们可能因为需要穿戴标记服而造成不适，且其捕捉体积受到严重限制，通常局限于具有受控背景的室内场景。替代性的基于穿戴设备的系统使用多个惯性测量单元或外骨骼来捕捉动作。这使得捕捉不受限于狭小空间，但需要大量、通常具有限制性且难以设置的穿戴设备。因此，我们提出了一种新的实时、无标记、自我中心动作捕捉方法，该方法通过安装在头盔或虚拟现实头显上的轻量级双鱼眼相机立体对来估计全身骨骼姿态。它结合了针对鱼眼视角的新型生成式姿态估计框架与在大型新数据集上训练的基于 ConvNet 的身体部件检测器的优势。我们的内向内方法能够在一般室内外场景以及多人近距离的拥挤场景中捕捉全身动作。被捕捉的用户可以自由移动，从而能够重建更大规模的活动，这在虚拟现实中尤为有用，用户可以自由漫游和交互，同时看到经过全身动作捕捉的虚拟身体。
引用
@article{arxiv.1609.07306,
title = {EgoCap: Egocentric Marker-less Motion Capture with Two Fisheye Cameras},
author = {Helge Rhodin and Christian Richardt and Dan Casas and Eldar Insafutdinov and Mohammad Shafiei and Hans-Peter Seidel and Bernt Schiele and Christian Theobalt},
journal= {arXiv preprint arXiv:1609.07306},
year = {2016}
}
备注
SIGGRAPH Asia 2016