副语言表征是语音情感识别所需的全部吗？
音频与语音处理
2024-07-12 v2 计算与语言
声音
摘要
来自预训练模型（PTMs）表征的可用性促进了语音情感识别（SER）的实质性进展。特别是，为副语言语音处理训练的PTM表征已在SER上展现出最先进（SOTA）的性能。然而，此类副语言PTM表征尚未在英语以外的语言环境中针对SER进行评估。同时，副语言PTM表征也尚未在诸如SUPERB、EMO-SUPERB、ML-SUPERB等基准测试中针对SER进行过研究。这使得评估副语言PTM表征在多语言SER中的有效性变得困难。为填补这一空白，我们对五种SOTA PTM表征进行了全面的比较研究。我们的结果表明，副语言PTM（TRILLsson）表征表现最佳，这种性能可归因于其在捕捉音高、语调及其他语音特征方面比其他PTM表征更有效。
引用
@article{arxiv.2402.01579,
title = {Are Paralinguistic Representations all that is needed for Speech Emotion Recognition?},
author = {Orchid Chetia Phukan and Gautam Siddharth Kashyap and Arun Balaji Buduru and Rajesh Sharma},
journal= {arXiv preprint arXiv:2402.01579},
year = {2024}
}
备注
Accepted to INTERSPEECH 24