作为生成先验的人体运动扩散
计算机视觉与模式识别
2023-08-31 v3 图形学
摘要
近期工作已展示去噪扩散模型在生成人体运动(包括文本到运动能力)方面的巨大潜力。然而,这些方法受限于标注运动数据的匮乏、对单人运动的侧重以及缺乏细致控制。本文中,我们基于扩散先验引入三种组合形式:顺序组合、并行组合与模型组合。利用顺序组合,我们应对长序列生成的挑战。我们提出 DoubleTake,一种推理时方法,仅使用为短片段训练的先验,即可生成由提示间隔序列及其过渡组成的长动画。利用并行组合,我们展示朝向双人生成的有前景的步骤。从两个固定先验及少量双人训练样本出发,我们学习一个轻量通信块 ComMDM,以协调两个所得运动间的交互。最后,利用模型组合,我们首先训练独立先验以完成实现给定关节规定运动的动作;随后引入 DiffusionBlending,一种插值机制,可有效融合多个此类模型,以实现灵活高效的细粒度关节与轨迹级控制及编辑。我们使用现成的运动扩散模型评估这些组合方法,并进一步将结果与为这些特定任务训练的专用模型进行比较。
引用
@article{arxiv.2303.01418,
title = {Human Motion Diffusion as a Generative Prior},
author = {Yonatan Shafir and Guy Tevet and Roy Kapon and Amit H. Bermano},
journal= {arXiv preprint arXiv:2303.01418},
year = {2023}
}