利用非参数分层神经网络解决语音情感识别中的变异问题
机器学习
2021-09-10 v1 人工智能
人机交互
摘要
近年来，基于深度学习的语音情感识别模型已优于经典机器学习模型。此前，诸如多任务学习等神经网络设计已经考虑了由人口统计和情境因素引起的情感表达变异。然而，现有模型面临一些限制：1）它们依赖于域的明确定义（例如性别、噪声条件等）以及域标签的可用性；2）它们通常试图学习域不变特征，而情感表达可能是特定于域的。在本研究中，我们提出了非参数分层神经网络（Nonparametric Hierarchical Neural Network, NHNN），一种基于贝叶斯非参数聚类的轻量级分层神经网络模型。与多任务学习方法相比，该模型不需要域/任务标签。在我们的实验中，在语料库内和跨语料库测试中，NHNN模型通常优于具有相似复杂度的模型和SOTA模型。通过聚类分析，我们表明NHNN模型能够学习特定于组的特征，并弥合不同组之间的性能差距。
引用
@article{arxiv.2109.04316,
title = {Accounting for Variations in Speech Emotion Recognition with Nonparametric Hierarchical Neural Network},
author = {Lance Ying and Amrit Romana and Emily Mower Provost},
journal= {arXiv preprint arXiv:2109.04316},
year = {2021}
}
备注
9 pages, manuscript under peer review