GM-TCNet：利用情绪因果关系的门控多尺度时间卷积网络用于语音情感识别
声音
2022-11-08 v1 人工智能
人机交互
音频与语音处理
摘要
在人机交互中，语音情感识别（SER）对理解用户意图与改善交互体验起着重要作用。尽管相似的情感语音具有多样说话人特征但共享共同的先决与后果，SER 的一个关键挑战是如何通过语音情感间的因果关系产生鲁棒且具判别性的表示。本文提出门控多尺度时间卷积网络（GM-TCNet），以多尺度感受野构建新颖的情绪因果关系表示学习组件。GM-TCNet 部署新颖的情绪因果关系表示学习组件来捕获时间域上情绪的动态，该组件由膨胀因果卷积层与门控机制构造。此外，它利用跳跃连接融合来自不同门控卷积块的高层特征，以捕获人类语音中丰富而细微的情绪变化。GM-TCNet 首先使用单一类型特征即梅尔频率倒谱系数作为输入，随后将其通过门控时间卷积模块生成高层特征。最后，特征被送入情感分类器以完成 SER 任务。实验结果表明，与最先进（SOTA）技术相比，我们的模型在大多数情况下保持最高性能。
引用
@article{arxiv.2210.15834,
title = {GM-TCNet: Gated Multi-scale Temporal Convolutional Network using Emotion Causality for Speech Emotion Recognition},
author = {Jia-Xin Ye and Xin-Cheng Wen and Xuan-Ze Wang and Yong Xu and Yan Luo and Chang-Li Wu and Li-Yan Chen and Kun-Hong Liu},
journal= {arXiv preprint arXiv:2210.15834},
year = {2022}
}
备注
The source code is available at: https://github.com/Jiaxin-Ye/GM-TCNet