MuSe 2024 多模态情感分析挑战：社会感知与幽默识别
人工智能
2024-06-13 v1 计算与语言
摘要
2024 年多模态情感分析挑战（MuSe）聚焦于两个当代的多模态情感与情感分析问题：在社会感知子挑战（MuSe-Perception）中，参赛者需基于提供的音视频数据预测16种社会属性，如自信、支配、受欢迎程度和诚实程度。跨文化幽默检测子挑战（MuSe-Humor）数据集扩展了巴普酝自发足球教练幽默数据集（Passau-SFCH），聚焦于在跨语言和跨文化环境中检测自发幽默。MuSe 2024 的主要目标是联合来自多个研究领域的广大观众，包括多模态情感分析、音视频情感计算、连续信号处理和自然语言处理。通过促进这些领域专家之间的协作与交流，MuSe 2024旨在推动情感分析和情感计算在多个模态上的理解与应用。本基线论文提供了每个子挑战及其对应数据集的详细信息、来自每个数据模态的提取特征，以及对挑战基线方法的讨论。对于我们的基线系统，我们利用多种 Transformer 模型和专家设计的特征，并使用门控循环单元（GRU）循环神经网络（RNN）进行训练，最终得到一个具有竞争力的基线系统。在每个子挑战的不可见测试数据集上，该系统在 MuSe-Perception 上实现了0.3573 的平均皮尔逊相关系数（），在 MuSe-Humor 上实现了0.8682 的ROC曲线下面积（AUC）值。
引用
@article{arxiv.2406.07753,
title = {The MuSe 2024 Multimodal Sentiment Analysis Challenge: Social Perception and Humor Recognition},
author = {Shahin Amiriparian and Lukas Christ and Alexander Kathan and Maurice Gerczuk and Niklas Müller and Steffen Klug and Lukas Stappen and Andreas König and Erik Cambria and Björn Schuller and Simone Eulitz},
journal= {arXiv preprint arXiv:2406.07753},
year = {2024}
}