GENEA Leaderboard -- 用于评估和推动对话式运动合成的扩展、持续更新的基准
人机交互
2024-10-10 v1 计算机视觉与模式识别
图形学
机器学习
摘要
当前 speech-driven gesture generation 中的评估实践缺乏标准化，侧重于易于衡量的方面，而非真正重要的方面。这导致无法确定最新进展，或在比较两种方法时，无法知道哪种方法适用于哪种目的。在本位置论文中，我们审查并详细阐述了现有手势生成评估中的问题，并提出了新的解决方案。具体而言，我们宣布将推出一个持续更新的活 leaderboard 来基准化对话式运动合成的进展。与以往的手势生成挑战不同，leaderboard 将通过大规模用户研究定期更新新的手势生成系统，同时，leaderboard 上的系统可以提交至作者偏好的任何出版平台。通过随时间演变的 leaderboard 评估数据和任务，该工作将持续推动社区识别的关键目标。我们积极寻求社区在整个评估管道中的参与：从数据和评估任务，到工具，再到被评估的系统。换言之，我们的提议不仅会让研究人员更容易进行良好的评估，而且他们的集体输入和贡献也将帮助推动手势生成研究的未来。
关键词
引用
@article{arxiv.2410.06327,
title = {Towards a GENEA Leaderboard -- an Extended, Living Benchmark for Evaluating and Advancing Conversational Motion Synthesis},
author = {Rajmund Nagy and Hendric Voss and Youngwoo Yoon and Taras Kucherenko and Teodor Nikolov and Thanh Hoang-Minh and Rachel McDonnell and Stefan Kopp and Michael Neff and Gustav Eje Henter},
journal= {arXiv preprint arXiv:2410.06327},
year = {2024}
}
备注
15 pages, 2 figures, project page: https://genea-workshop.github.io/leaderboard/