二维手势表示对语音手势生成的影响

Teo Guichoux; Laure Soulier; Nicolas Obin; Catherine Pelachaud

二维手势表示对语音手势生成的影响

人工智能 2024-06-25 v2 计算与语言计算机视觉与模式识别

作者: Teo Guichoux , Laure Soulier , Nicolas Obin , Catherine Pelachaud

摘要

共语手势在人类与具身对话代理(ECA)的交互中起着至关重要的作用。最近的深度学习方法能够生成与语音同步的逼真、自然的共语手势,但此类方法需要大量训练数据。"野外"数据集通过从YouTube等来源编译人体姿态检测模型的数据,提供与语音配对的2D骨骼序列,从而提供了一种解决方案。与此同时,创新的提升模型应运而生,能够将这些2D姿态序列转换为3D对应序列,从而产生大规模且多样化的3D手势数据集。然而,推导出的3D姿态估计本质上是伪真值,真正的真值是2D运动数据。这一区别引发了关于手势表示维度对生成运动质量影响的问题,据我们所知,这一课题在很大程度上仍未得到探索。在本工作中,我们评估了训练数据的维度(2D或3D关节坐标)对多模态语音到手势深度生成模型性能的影响。我们使用提升模型将2D生成的身体姿态序列转换为3D。然后,将直接以3D生成的手势序列与以2D生成并提升至3D的手势序列进行比较。

关键词

co-speech gesture generation gesture representation dimensionality 2D pose sequences 3D pose estimation lifting model speech-to-gesture embodied conversational agents

引用

@article{arxiv.2406.15111,
  title  = {Investigating the impact of 2D gesture representation on co-speech gesture generation},
  author = {Teo Guichoux and Laure Soulier and Nicolas Obin and Catherine Pelachaud},
  journal= {arXiv preprint arXiv:2406.15111},
  year   = {2024}
}

备注

8 pages. Paper accepted at WACAI 2024

二维手势表示对语音手势生成的影响

摘要

关键词

引用

备注

相关论文