Panoptic Studio：用于社交互动捕捉的大规模多视角系统
计算机视觉与模式识别
2016-12-12 v1
摘要
我们提出了一种捕捉参与社交互动的一组人的 3D 运动的方法。捕捉社交互动的核心挑战在于：(1) 遮挡是功能性的且频繁发生；(2) 需要在足以容纳一个社交群体的空间内测量细微运动；(3) 人的外观与姿态变化极大；(4) 在身体上附着标记可能会影响互动的本质。Panoptic Studio 是一个围绕以下论点构建的系统：应通过整合大量视角下的感知分析来测量社交互动。我们提出一个围绕此原则设计的模块化系统，包含集成的结构、硬件和软件创新。该系统以 480 路多人参与社交活动的同步视频流作为输入，并输出空间中个体解剖学标志点的带有时变标签的 3D 结构。我们的算法旨在通过从低层外观线索逐步生成骨架提议，融合大量视角中的“弱”感知过程，并提出了一个通过将身体部位与重建的密集 3D 轨迹流相关联的时间细化框架。我们的系统和方法是首个在不使用标记的情况下重建五人以上社交互动全身运动的系统和方法。我们还通过经验论证了视角数量对实现此目标的影响。
引用
@article{arxiv.1612.03153,
title = {Panoptic Studio: A Massively Multiview System for Social Interaction Capture},
author = {Hanbyul Joo and Tomas Simon and Xulong Li and Hao Liu and Lei Tan and Lin Gui and Sean Banerjee and Timothy Godisart and Bart Nabbe and Iain Matthews and Takeo Kanade and Shohei Nobuhara and Yaser Sheikh},
journal= {arXiv preprint arXiv:1612.03153},
year = {2016}
}
备注
Submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence