Switchboard-Affect：来自对话语音的情感感知标签
音频与语音处理
2025-10-17 v1 机器学习
声音
摘要
理解语音情感数据集的编排和标注细微差别，对于评估语音情感识别（SER）模型在实际应用中的潜力至关重要。大多数训练和评估数据集包含演员化或伪演员化语音（例如播客语音），其中情感表达可能被放大或其他方式有意修改。此外，基于众所瞩的标签的数据集常缺乏对标注员指导指南的透明度。这些因素使人们难以理解模型性能并确定必要的改进领域。为此，我们识别了 Switchboard 语料库作为自然化对话语音的可靠来源，并训练了一组众所瞩以获得分类情感标签（愤怒、轻蔑、厌恶、恐惧、悲伤、惊讶、幸福、温柔、平静和中性）以及维度属性（激活、价值和支配）的数据集。我们将此标签集合称为 Switchboard-Affect（SWB-Affect）。在本文中，我们详细阐述了我们的做法，包括为标注员提供的定义以及可能在其感知中发挥作用的词汇和副语言线索的分析。此外，我们评估了最先进的 SER 模型，发现不同情感类别的表现存在差异，尤其是对愤怒的泛化能力较差。这些发现凸显了使用能够捕捉语音中自然情感变异的数据集进行评估的重要性。我们公开了 SWB-Affect 的标签，以便进一步分析此领域。
引用
@article{arxiv.2510.13906,
title = {Switchboard-Affect: Emotion Perception Labels from Conversational Speech},
author = {Amrit Romana and Jaya Narain and Tien Dung Tran and Andrea Davis and Jason Fong and Ramya Rasipuram and Vikramjit Mitra},
journal= {arXiv preprint arXiv:2510.13906},
year = {2025}
}
备注
2025 13th International Conference on Affective Computing and Intelligent Interaction (ACII) https://github.com/apple/ml-switchboard-affect