用于鲁棒语音情感识别的深度卷积循环神经网络中卷积类型的表征
机器学习
2018-01-16 v2 计算与语言
多媒体
声音
摘要
由于深度卷积神经网络能够减少变异因素以从语音中学习，它们正被广泛应用于各种语音和音频处理任务中，包括语音识别、音频事件检测和计算副语言学。然而，尽管使用不同类型的卷积操作已取得了有前景的结果，研究仍建议在构建用于语音应用的深度卷积神经网络时应偏好某种特定类型的卷积操作。在这项工作中，为了获得全面的理解，我们研究了在噪声和干净条件下用于语音情感识别的不同输入特征上的四种卷积操作。由于情感行为信息已被证明反映了随时间变化的心理状态，且卷积操作在时间上是局部应用的，因此所有深度神经网络都共享一个深度循环子网络架构以进行进一步的时间建模。我们给出了详细的定量逐模块性能分析，以深入了解所提出架构内的信息流。特别是，我们展示了在从一个模块进展到另一个模块的过程中，情感信息与其他无关信息之间的相互作用。最后，我们表明所有的深度神经网络在 eNTERFACE'05 语料库上都提供了 SOTA 的性能。
引用
@article{arxiv.1706.02901,
title = {Characterizing Types of Convolution in Deep Convolutional Recurrent Neural Networks for Robust Speech Emotion Recognition},
author = {Che-Wei Huang and Shrikanth. S. Narayanan},
journal= {arXiv preprint arXiv:1706.02901},
year = {2018}
}
备注
Revised Submission to IEEE Transactions