ReprGesture参加GENEA Challenge 2022的方案

Sicheng Yang; Zhiyong Wu; Minglei Li; Mengchen Zhao; Jiuxin Lin; Liyang Chen; Weihong Bao

doi:10.1145/3536221.3558066

ReprGesture参加GENEA Challenge 2022的方案

人机交互 2022-08-26 v1 人工智能多媒体声音音频与语音处理

作者: Sicheng Yang , Zhiyong Wu , Minglei Li , Mengchen Zhao , Jiuxin Lin , Liyang Chen , Weihong Bao

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

本文描述了ReprGesture参加2022年具身智能体非言语行为生成与评估(GENEA)挑战赛的方案。GENEA挑战赛提供处理后的数据集并进行众包评估,以比较不同手势生成系统的性能。在本文中,我们探索了一种基于多模态表示学习的自动手势生成系统。我们使用WavLM特征表示音频,FastText特征表示文本,位置与旋转矩阵特征表示手势。每种模态被投影到两个不同的子空间:模态不变子空间与模态特定子空间。为学习模态间的不变共性并捕获模态特定表示的特征,训练过程中使用了基于梯度反转层的对抗分类器与模态重建解码器。手势解码器利用所有表示及音频中与节奏相关的特征生成恰当手势。我们的代码、预训练模型与演示可在 https://github.com/YoungSeng/ReprGesture 获取。

关键词

手势生成多模态表示学习 GENEA挑战赛对抗分类器梯度反转层 WavLM 具身智能体

引用

@article{arxiv.2208.12133,
  title  = {The ReprGesture entry to the GENEA Challenge 2022},
  author = {Sicheng Yang and Zhiyong Wu and Minglei Li and Mengchen Zhao and Jiuxin Lin and Liyang Chen and Weihong Bao},
  journal= {arXiv preprint arXiv:2208.12133},
  year   = {2022}
}

备注

8 pages, 4 figures, ICMI 2022

ReprGesture参加GENEA Challenge 2022的方案

摘要

关键词

引用

备注

相关论文