REACT 2024：第二届多适宜面部反应生成挑战赛
计算机视觉与模式识别
2024-01-11 v1
摘要
在二元交互中，人类使用言语和非言语线索来传达其意图和心理状态，其中针对特定的说话者行为，多种不同的面部反应可能是适宜的。那么，如何开发一个机器学习（ML）模型，使其能够根据先前未见过的说话者行为自动生成多种适宜、多样、逼真且同步的人类面部反应，是一项具有挑战性的任务。继首届REACT挑战赛（REACT 2023）成功举办之后，本届挑战赛（REACT 2024）采用了上届挑战赛使用的一个子集，其中包含从NOXI和RECOLA数据集原始记录中分割出的30秒二元交互片段，鼓励参与者开发并基准测试机器学习（ML）模型，这些模型能够在各种二元视频会议场景下，根据输入的对话伙伴刺激生成多种适宜的面部反应（包括面部图像序列及其属性）。本文介绍了：(i) REACT 2024挑战赛的指南；(ii) 挑战赛中使用的数据集；以及 (iii) 基线系统在两个提议的子挑战赛上的表现：分别是离线多适宜面部反应生成和在线多适宜面部反应生成。挑战赛基线代码已在 https://github.com/reactmultimodalchallenge/baseline_react2024 公开提供。
引用
@article{arxiv.2401.05166,
title = {REACT 2024: the Second Multiple Appropriate Facial Reaction Generation Challenge},
author = {Siyang Song and Micol Spitale and Cheng Luo and Cristina Palmero and German Barquero and Hengde Zhu and Sergio Escalera and Michel Valstar and Tobias Baur and Fabien Ringeval and Elisabeth Andre and Hatice Gunes},
journal= {arXiv preprint arXiv:2401.05166},
year = {2024}
}