基于贝叶斯神经网络与标签分布学习的语音情感识别端到端标签不确定性建模
音频与语音处理
2023-06-14 v2 机器学习
摘要
为训练机器学习算法以唤醒度与效价预测情感表达，需要带标注的数据集。然而，由于不同人对他人情感表达的感知不同，其标注具有主观性。为此，标注通常采集自多名标注者并取平均以获得真值标签。但仅在此平均真值上训练时，模型对情感表达固有的主观性一无所知。因此，本工作中我们提出一种端到端贝叶斯神经网络，能够对标注分布进行训练，从而捕捉基于主观性的标签不确定性。我们使用 Student t 分布而非高斯分布对标注分布建模，该分布还考虑了可用标注的数量。我们推导了相应的 Kullback-Leibler 散度损失，并用其训练标注分布的估计器，从中可推断均值与不确定性。我们在两个真实场景数据集上验证了所提方法。结果表明，所提基于 t 分布的方法在语音情感识别中取得了最先进的（SOTA）不确定性建模结果，并在跨语料库评测中结果一致。此外，分析揭示，随着标注者间相关性增大与可用标注数减少，t 分布相对于高斯分布的优势随之增长。
引用
@article{arxiv.2209.15449,
title = {End-to-End Label Uncertainty Modeling in Speech Emotion Recognition using Bayesian Neural Networks and Label Distribution Learning},
author = {Navin Raj Prabhu and Nale Lehmann-Willenbrock and Timo Gerkman},
journal= {arXiv preprint arXiv:2209.15449},
year = {2023}
}
备注
Accepted Paper at IEEE Transactions on Affective Computing, June 2023. Contains main paper with supplementary material. arXiv admin note: text overlap with arXiv:2207.12135