利用体积轮廓线索进行通用自动人体形状与运动捕捉

无标记运动捕捉算法需要一个具有适当个性化骨骼尺寸和/或身体形状及外观的 3D 身体模型，才能成功跟踪人物。不幸的是，许多跟踪方法将模型个性化视为一个独立问题，并采用手动或半自动的模型初始化，这大大降低了适用性。在本文中，我们提出了一种全自动算法，仅利用多视角视频输入，即可联合创建动画中常用的绑定演员模型（包括骨骼、体积形状、外观，以及可选的身体表面），并估计演员的运动。该方法经过严谨设计，适用于使用极少摄像机录制且无需背景减除的通用户外场景 footage。我们的方法使用了一种具有解析可见性和解析可微对齐能量的新图像形成模型。对于重建，3D 身体形状被近似为高斯密度场。对于姿态和形状估计，我们最小化了一种受吸收介质中体积光线投射启发的新基于边缘的对齐能量。此外，我们提出了一种新的统计人体模型，该模型表征了身体表面、体积高斯密度以及骨骼形状的可变性。给定任何多视角序列，我们的方法以时空方式全自动地联合优化该模型的姿态和形状参数。