MuSe 2020——首届真实媒体多模态情感分析挑战赛与研讨会
多媒体
2020-07-10 v3 计算与语言
计算机视觉与模式识别
声音
音频与语音处理
摘要
真实媒体多模态情感分析（MuSe）2020 是一个基于挑战赛的研讨会，聚焦于情感识别，以及通过更全面地融合音视频与语言模态来实现情绪目标参与和可信度检测的任务。MuSe 2020 旨在汇聚来自不同学科的群体，主要是音视频情感识别群体（基于信号）与情感分析群体（基于符号）。我们提出三个不同的子挑战：MuSe-Wild，关注连续情绪（唤醒度与效价）预测；MuSe-Topic，参与者识别特定领域主题作为 3 类（低、中、高）情绪的目标；以及 MuSe-Trust，其中需预测可信度这一新颖方面。在本文中，我们提供 MuSe-CaR 的详细信息，这是用于该挑战赛的首个同类自然场景数据库，以及所应用的最先进特征与建模方法。针对每个子挑战，我们为参与者设定了竞争性基线；即在测试集上，我们报告 MuSe-Wild 的效价与唤醒度联合 CCC 为 .2568，MuSe-Topic 在 10 类主题上得分（计算为 0.34 UAR + 0.66F1）为 76.78%、在 3 类情绪预测上为 40.64%，以及 MuSe-Trust 的 CCC 为 .4359。
引用
@article{arxiv.2004.14858,
title = {MuSe 2020 -- The First International Multimodal Sentiment Analysis in Real-life Media Challenge and Workshop},
author = {Lukas Stappen and Alice Baird and Georgios Rizos and Panagiotis Tzirakis and Xinchen Du and Felix Hafner and Lea Schumann and Adria Mallol-Ragolta and Björn W. Schuller and Iulia Lefter and Erik Cambria and Ioannis Kompatsiaris},
journal= {arXiv preprint arXiv:2004.14858},
year = {2020}
}
备注
Baseline Paper MuSe 2020, MuSe Workshop Challenge, ACM Multimedia