ActFormer：一种基于 GAN 的 Transformer 用于通用动作条件 3D 人体运动生成
计算机视觉与模式识别
2022-11-24 v2 图形学
多媒体
摘要
我们提出一种基于 GAN 的 Transformer，用于通用动作条件的 3D 人体运动生成，不仅包括单人动作，还包括多人交互动作。我们的方法由一个强大的动作条件运动 Transformer（ActFormer）在 GAN 训练框架下构成，并配备高斯过程潜先验。这样的设计结合了 Transformer 强大的时空表示能力、GAN 在生成建模上的优越性，以及来自潜先验的固有时间相关性。此外，ActFormer 可通过用 Transformer 编码器交替建模时间相关性与人体交互，自然扩展到多人运动。为进一步促进多人运动生成的研究，我们引入了一个复杂的多人格斗行为的新型合成数据集。在 NTU-13、NTU RGB+D 120、BABEL 及所提出的格斗数据集上的大量实验表明，我们的方法能适应各种人体运动表示，并在单人与多人运动生成任务上均取得优于最先进方法的性能，展示了迈向通用人体运动生成器的一个有前景的步骤。
引用
@article{arxiv.2203.07706,
title = {ActFormer: A GAN-based Transformer towards General Action-Conditioned 3D Human Motion Generation},
author = {Liang Xu and Ziyang Song and Dongliang Wang and Jing Su and Zhicheng Fang and Chenjing Ding and Weihao Gan and Yichao Yan and Xin Jin and Xiaokang Yang and Wenjun Zeng and Wei Wu},
journal= {arXiv preprint arXiv:2203.07706},
year = {2022}
}