NEURAL MARIONETTE：基于 Transformer 的多动作人体运动合成系统
计算机视觉与模式识别
2023-11-28 v2 图形学
摘要
我们提出一个基于神经网络的长期多动作人体运动合成系统。该系统被称为 NEURAL MARIONETTE，可根据简单用户输入（包括带预期动作时长的动作标签序列，以及用户指定时可选的手绘移动轨迹）生成高质量且有意义、具有平滑过渡的运动。我们系统的核心是一个新颖的基于 Transformer 的运动生成模型，即 MARIONET，其可在给定动作标签时生成多样化运动。与现有运动生成模型不同，MARIONET 利用来自过去运动片段和未来动作标签的上下文信息，致力于生成能平滑融合历史与未来动作的运动。具体而言，MARIONET 首先将目标动作标签与上下文信息编码为动作级潜在编码。该编码通过时间展开模块展开为帧级控制信号，随后可与其他帧级控制信号（如目标轨迹）结合。运动帧再以自回归方式生成。通过顺序应用 MARIONET，系统 NEURAL MARIONETTE 可借助两种简单机制（即“Shadow Start”与“Action Revision”）鲁棒地生成长期多动作运动。除新系统外，我们还提出一个专用于多动作运动合成任务的新数据集，其包含动作标签及其上下文信息。我们进行了大量实验来研究系统所生成动作的准确性、自然度与过渡平滑度。
引用
@article{arxiv.2209.13204,
title = {NEURAL MARIONETTE: A Transformer-based Multi-action Human Motion Synthesis System},
author = {Weiqiang Wang and Xuefei Zhe and Qiuhong Ke and Di Kang and Tingguang Li and Ruizhi Chen and Linchao Bao},
journal= {arXiv preprint arXiv:2209.13204},
year = {2023}
}