语音单元在语音情感识别中的作用
计算与语言
2021-08-04 v1
摘要
我们提出了一种通过基于情感依赖的语音识别，使用 Wav2vec 2.0 进行情感识别的方法。我们的方法在基准情感数据集 IEMOCAP 上取得了对大多数先前报告结果的显著改进。我们采用并比较了不同类型的语音单元，在数据集内和跨数据集、跨语言的情况下，考察情感识别的准确性和鲁棒性。音素、广义语音类别和音节模型均显著优于整句模型，表明语音单元是有帮助的，应被纳入语音情感识别中。最佳性能来自使用广义语音类别。需要进一步研究以确定用于情感识别任务的最优广义语音类别集合。最后，我们发现 Wav2vec 2.0 可以被微调以识别比音素更粗粒度或更大的语音单元，例如广义语音类别和音节。
引用
@article{arxiv.2108.01132,
title = {The Role of Phonetic Units in Speech Emotion Recognition},
author = {Jiahong Yuan and Xingyu Cai and Renjie Zheng and Liang Huang and Kenneth Church},
journal= {arXiv preprint arXiv:2108.01132},
year = {2021}
}