基于扩散模型的形状条件化人体运动生成

人体运动合成是计算机图形学和计算机视觉中的一项重要任务。虽然现有方法侧重于利用文本、动作类别或音频等各种条件信号来引导生成过程，但大多数方法使用基于骨骼的姿态表示，需要额外的蒙皮步骤才能生成可渲染的网格。考虑到人体运动是骨骼、关节和肌肉的复杂相互作用，仅考虑骨骼进行生成可能会忽略它们之间固有的相互依赖性，从而限制生成结果的多样性和精度。为了解决这个问题，我们提出了一种形状条件化运动扩散模型（SMD），该模型能够直接以网格格式生成运动序列，并以指定的目标网格为条件。在 SMD 中，输入网格使用图拉普拉斯算子转换为谱系数，以高效地表示网格。随后，我们提出了一种谱-时间自编码器（STAE），以利用谱域内的跨时间依赖性。广泛的实验评估表明，SMD 不仅能生成生动逼真的运动，而且在文本到运动和动作到运动任务中，与最先进的方法相比，也取得了有竞争力的性能。