HiT-DVAE：基于层次化 Transformer 动态 VAE 的人体运动生成
计算机视觉与模式识别
2022-04-05 v1
摘要
近年来，关于三维人体姿态数据自动处理的研究蓬勃发展。在本文中，我们关注于在给定观测三维姿态序列后生成合理且多样的未来人体姿态。当前方法通过将单一潜空间中的随机变量注入确定性运动预测框架来解决该问题，这排除了人体运动生成中固有的多模态性。此外，据我们所知，以往工作很少探索使用注意力来选择哪些帧用于指导生成过程。为克服这些局限，我们提出层次化 Transformer 动态变分自编码器 HiT-DVAE，其采用类 Transformer 注意力机制实现自回归生成。HiT-DVAE 同时学习数据演化与具有时间相关概率依赖的潜空间分布，从而使生成模型能够学习更复杂且时变的潜空间以及多样且真实的人体运动。此外，自回归生成为观测与预测带来更大灵活性，即使用单一预训练模型可对任意长度观测并预测任意长的姿态序列。我们在 HumanEva-I 与 Human3.6M 上以多种评估方法评估所提方法，并在大多数指标上优于当前最优方法。
引用
@article{arxiv.2204.01565,
title = {HiT-DVAE: Human Motion Generation via Hierarchical Transformer Dynamical VAE},
author = {Xiaoyu Bie and Wen Guo and Simon Leglaive and Lauren Girin and Francesc Moreno-Noguer and Xavier Alameda-Pineda},
journal= {arXiv preprint arXiv:2204.01565},
year = {2022}
}