QS-Craft：面向条件人体运动动画的量化、拼凑与构建学习
计算机视觉与模式识别
2022-03-23 v1
摘要
本文研究条件人体运动动画（cHMA）任务。给定一张源图像和一段驱动视频，模型应生成新的帧序列，其中源图像中的人应执行与驱动视频中姿态序列相似的运动。尽管生成对抗网络（GANs）方法在图像和视频合成方面取得了成功，但由于难以有效利用图像或姿态等条件引导信息并生成具有良好视觉质量的图像，进行 cHMA 仍然极具挑战。为此，本文提出了一种用于条件人体运动动画的量化、拼凑与构建学习（QS-Craft）新模型。其关键创新在于引入了三个关键步骤：量化、拼凑和构建。具体而言，我们的 QS-Craft 在其结构中采用 Transformer 以利用注意力架构。引导信息被表示为从驱动视频中提取的姿态坐标序列。在人体运动数据集上的大量实验验证了我们模型的有效性。
引用
@article{arxiv.2203.11632,
title = {QS-Craft: Learning to Quantize, Scrabble and Craft for Conditional Human Motion Animation},
author = {Yuxin Hong and Xuelin Qian and Simian Luo and Xiangyang Xue and Yanwei Fu},
journal= {arXiv preprint arXiv:2203.11632},
year = {2022}
}
备注
15 pages, 9 figures