基于手势动作分类与自回归模型从文本生成三维人体运动
计算机视觉与模式识别
2022-11-21 v1 图形学
摘要
本文提出一种基于深度学习的从文本生成三维人体运动的模型，通过手势动作分类与自回归模型实现。该模型聚焦于生成表达人类思维的特殊手势，如挥手与点头。为实现该目标，所提方法利用基于预训练语言模型的文本分类模型从句子预测表达，并使用基于门控循环单元的自回归模型生成手势。特别地，我们提出了嵌入空间的损失，以良好地恢复原始运动并生成中间运动。此外，提出了新颖的数据增强方法与停止令牌，以生成变长运动。为评估文本分类模型与三维人体运动生成模型，我们收集了手势动作分类数据集与基于动作的姿态数据集。经若干实验，所提方法成功地从文本生成感知自然且真实的三维人体运动。此外，我们利用公开可用的动作识别数据集验证了所提方法的跨数据集泛化性能。
引用
@article{arxiv.2211.10003,
title = {3d human motion generation from the text via gesture action classification and the autoregressive model},
author = {Gwantae Kim and Youngsuk Ryu and Junyeop Lee and David K. Han and Jeongmin Bae and Hanseok Ko},
journal= {arXiv preprint arXiv:2211.10003},
year = {2022}
}
备注
5 pages, 3 figures, ICIP 2022