探查语音情感识别 Transformer 中的语言知识

由自注意力层（transformers）组成的 Large、预训练神经网络近来在多个语音情感识别（SER）数据集上取得了最先进结果。这些模型通常以自监督方式预训练，旨在提升自动语音识别性能——从而理解语言信息。本工作中，我们考察在 SER 微调过程中该信息被利用的程度。采用基于开源工具的可复现方法，我们合成韵律中性的语音语句，同时改变文本情感。Transformer 模型的效价预测对正、负情感内容以及否定词非常敏感，但对强调词或弱化词不敏感，且上述语言特征均不影响唤醒度或支配度。这些发现表明 transformers 能成功利用语言信息改进效价预测，且语言分析应纳入其测试之中。