迈向非结构化无标记光学动作捕捉：视频来帮忙！

光学动作捕捉（mocap）需要从反光标记点中准确重建人体，包括姿态和形状。在典型的动作捕捉设置中，标记点标记是一个重要但繁琐且易错的步骤。先前的工作表明，可以通过使用定义特定标记点放置位置的结构化模板来实现标记点标记的自动化，但这带来了额外的录制限制。我们提出放宽这些限制，并求解非结构化无标记光学（UUO）动作捕捉。与典型的标记标记点或按照结构化布局放置标记点的动作捕捉设置相比，UUO 动作捕捉中的标记点可以放置在身体上的任何位置，甚至可以仅放置在某一特定肢体上（例如用于生物力学研究的右腿），因此具有更大的实际意义。这也更具挑战性。为了求解 UUO 动作捕捉，我们利用由单台 RGB 相机拍摄的单目视频，这不需要相机标定。在该视频上，我们运行现成的方法来重建和追踪单个人体，从而提供人体姿态和形状的强视觉先验。结合视频和 UUO 标记点，我们提出了一种用于标记点识别、标记点标记、人体姿态估计和人体重建的优化流程。我们的技术创新包括用于优化全局朝向的多假设检验，以及用于更好地优化体表的标记点定位和标记点-部位匹配。我们进行了大量实验，将我们的方法与最先进的方法（包括仅使用标记点的动作捕捉和仅使用视频的人体/形状重建）进行了定量比较。实验表明，我们的方法在三个既有的基准数据集上的全身和局部身体重建方面均显著优于现有方法。