用于人体网格恢复的学习局部循环模型

我们考虑在给定具有自然运动动态的人物视频的情况下估计帧级完整人体网格的问题。尽管该领域的许多进展集中于基于单图像的网格估计，但近期利用视频推断网格动态的努力有所增加，鉴于其在缓解深度模糊与遮挡等问题中的作用。然而，现有工作的一个关键局限是假设所有观察到的运动动态均可使用单一动态/循环模型建模。尽管这在相对简单动态的情况下可能表现良好，但对真实场景视频的推断面临诸多挑战。特别地，通常情况是人的不同身体部位在视频中经历不同动态，例如腿部运动方式可能在动态上不同于手部（如一个人跳舞）。为解决这些问题，我们提出了一种新颖的视频网格恢复方法，其遵循标准骨骼模型将人体网格划分为若干局部部分。然后我们用独立的循环模型对每个局部部分的动态建模，每个模型基于已知的人体运动学结构进行适当条件化。这产生了一种结构感知的局部循环学习架构，可使用可用标注以端到端方式训练。我们在Human3.6M、MPI-INF-3DHP和3DPW等标准视频网格恢复基准数据集上进行了多种实验，证明了我们建模局部动态设计的有效性，并基于标准评估指标建立了最先进结果。