用于人体运动补全的卷积自编码器

在本文中，我们提出一种卷积自编码器来解决三维人体运动数据的运动补全问题。给定起始与结束序列，运动补全旨在补全两者之间缺失的间隙，使得填充的姿势合理地预测起始序列并自然过渡到结束序列。为此，我们提出了一种单一的、端到端可训练的卷积自编码器。我们展示了单一模型可用于在不同类型活动之间创建自然过渡。此外，我们的方法不仅能填充整个缺失帧，还可用于补全具有部分姿势（例如来自末端执行器）的间隙，或清理其他形式的噪声（例如高斯噪声）。同时，该模型可填充任意数量的、长度可能各异的间隙。另外，模型输出无需进一步的后处理，如平滑或闭合间隙末端的不连续性。我们方法的核心思想是将运动补全视为修复（inpainting）问题，并在类图像的序列表示上训练卷积去噪自编码器。在训练时，从此类图像中移除列块，并要求模型填充间隙。我们通过若干复杂运动序列展示了该方法的通用性，并报告了为理解所提方法的能力与局限而进行的详尽评估。