基于有限数据的人类运动多分辨率生成模型

我们提出了一种生成模型，能够从有限的训练序列中学习合成人类运动。该框架提供了跨多个时间分辨率的条件生成和混合能力。该模型通过整合骨骼卷积层和多尺度架构，能够有效捕捉人类运动模式。我们的模型包含一组针对特定帧率生成运动的生成网络和对抗网络，以及嵌入模块，能够对内容和细节进行控制。值得注意的是，我们的方法还扩展到合成协言语手势，表明即使在数据有限的情况下，还能生成与语音输入同步的手势。通过直接合成 SMPL 位姿参数，我们避免了在人体网格上进行测试时的调整。实验结果表明，我们的模型能够覆盖广泛的训练样本，同时生成多样化的运动，结果通过局部和全局多样性指标得到验证。