EmotionTalk：一个具有丰富标注的交互式中文多模态情感数据集
多媒体
2025-06-26 v3
摘要
近年来，情感识别在人机交互、心理健康监测和情感分析等应用中发挥着关键作用。尽管英语等语言的情感分析数据集大量涌现，但针对中文独特的语言、文化和多模态特征量身定制的高质量、综合性数据集仍存在迫切需求。在本研究中，我们提出了 \textbf{EmotionTalk}，一个具有丰富标注的交互式中文多模态情感数据集。该数据集提供了参与二元对话场景的 19 名演员的多模态信息，融合了声学、视觉和文本模态。它包含 23.6 小时的语音（19,250 条话语），涵盖 7 种话语级情感类别（快乐、惊讶、悲伤、厌恶、愤怒、恐惧和中性）的标注、5 维情感标签（消极、弱消极、中性、弱积极和积极）以及 4 维语音描述（说话人、说话风格、情感和整体）。该数据集非常适合用于单模态和多模态情感识别、缺失模态挑战以及语音描述任务的研究。据我们所知，它是首个高质量且通用的中文对话多模态情感数据集，为跨文化情感分析与识别研究做出了宝贵贡献。此外，我们在 EmotionTalk 上进行了实验，以证明该数据集的有效性和质量。它将开源并免费用于所有学术目的。数据集和代码将在以下网址提供：https://github.com/NKU-HLT/EmotionTalk。
引用
@article{arxiv.2505.23018,
title = {EmotionTalk: An Interactive Chinese Multimodal Emotion Dataset With Rich Annotations},
author = {Haoqin Sun and Xuechen Wang and Jinghua Zhao and Shiwan Zhao and Jiaming Zhou and Hui Wang and Jiabei He and Aobo Kong and Xi Yang and Yequan Wang and Yonghua Lin and Yong Qin},
journal= {arXiv preprint arXiv:2505.23018},
year = {2025}
}