GENEA Challenge 2022：数据驱动的伴语手势生成大规模评测
人机交互
2022-08-23 v1 图形学
机器学习
多媒体
声音
音频与语音处理
摘要
本文报道了第二届 GENEA Challenge，旨在对数据驱动的自动伴语手势生成进行基准测试。参赛团队使用相同的语音与动作数据集构建手势生成系统。所有这些系统生成的动作通过标准化可视化流程渲染为视频，并在多项大规模众包用户研究中评估。与比较不同研究论文不同，此处结果的差异仅源于方法之间的不同，从而实现对系统的直接比较。今年的数据集基于 18 小时的不同人物进行双人对话的全身动作捕捉（包括手指）。十支团队参与挑战的两个层级：全身与上半身手势表达。对每个层级，我们均评估了手势动作的类人程度及其对特定语音信号的恰当性。我们的评估将类人程度与手势恰当性解耦，而这在此前是该领域的一大挑战。评估结果是一次革命，也是一次启示。某些合成条件被评为显著比人体动作捕捉更具类人感。据我们所知，这在高保真虚拟人上从未被展示过。另一方面，所有合成动作被发现对语音的恰当性远不及原始动作捕捉记录。额外材料可通过项目网站 https://youngwoo-yoon.github.io/GENEAchallenge2022/ 获取。
引用
@article{arxiv.2208.10441,
title = {The GENEA Challenge 2022: A large evaluation of data-driven co-speech gesture generation},
author = {Youngwoo Yoon and Pieter Wolfert and Taras Kucherenko and Carla Viegas and Teodor Nikolov and Mihail Tsakov and Gustav Eje Henter},
journal= {arXiv preprint arXiv:2208.10441},
year = {2022}
}
备注
12 pages, 5 figures; final version for ACM ICMI 2022