用于情感识别的新型双通道长短期记忆压缩胶囊网络
声音
2021-12-28 v1 机器学习
音频与语音处理
摘要
近期关于语音情感识别的分析在使用 MFCCs 谱图特征以及卷积神经网络（CNNs）等神经网络的实现上取得了显著进展。胶囊网络（CapsNet）因其更强的层次表示能力而作为 CNNs 的替代方案受到青睐。为解决这些问题，本研究引入一种与文本无关且与说话人无关的 SER 新型架构，其中基于 CapsNet 的结构特征提出了双通道长短期记忆压缩胶囊网络（DC-LSTM COMP-CapsNet）算法。我们提出的新型分类器能够确保模型在语音情感识别中的能量效率与充分压缩方法，这是原始 CapsNet 结构所不具备的。此外，使用网格搜索方法以获得最优解。结果显示出性能提升以及训练与测试运行时间的减少。用于评估我们算法的语音数据集包括：阿拉伯语阿联酋口音语料库、模拟与实际压力下的英语语音语料库、英语 Ryerson 情感语音与歌曲视听数据库语料库，以及众包情感多模态演员数据集。本工作表明，与其他已知方法相比，最优特征提取方法是 MFCCs delta-delta。使用四个数据集和 MFCCs delta-delta，DC-LSTM COMP-CapsNet 超越了所有 SOTA 系统、经典分类器、CNN 以及原始 CapsNet。使用阿拉伯语阿联酋口音语料库，我们的结果表明，所提出的工作取得了 89.3% 的平均情感识别准确率，而基于 CapsNet、CNN、支持向量机、多层感知机、k-近邻、径向基函数和朴素贝叶斯的准确率分别为 84.7%、82.2%、69.8%、69.2%、53.8%、42.6% 和 31.9%。
引用
@article{arxiv.2112.13350,
title = {Novel Dual-Channel Long Short-Term Memory Compressed Capsule Networks for Emotion Recognition},
author = {Ismail Shahin and Noor Hindawi and Ali Bou Nassif and Adi Alhudhaif and Kemal Polat},
journal= {arXiv preprint arXiv:2112.13350},
year = {2021}
}
备注
19 pages, 11 figures