语音情感识别中的注意力模态跳转机制
机器学习
2020-04-24 v2 计算与语言
声音
机器学习
摘要
在本工作中，我们探索了除语音与文本外引入视觉模态以提升情感检测系统准确率的影响。传统方法通过独立融合各模态知识来完成情感分类以应对该任务。与这些方法不同，我们引入注意力机制来结合信息以处理该问题。为此，我们首先应用神经网络获得各模态的隐表示。随后定义注意力机制，以音频与文本数据为条件，筛选并聚合视频数据的重要部分。此外，再次应用注意力机制，通过考虑其他模态来关注语音与文本数据的重要部分。实验在标准 IEMOCAP 数据集上使用全部三种模态（音频、文本与视频）进行。所得结果表明，相较基线系统，加权准确率显著提升了 3.65%。
引用
@article{arxiv.1912.00846,
title = {Attentive Modality Hopping Mechanism for Speech Emotion Recognition},
author = {Seunghyun Yoon and Subhadeep Dey and Hwanhee Lee and Kyomin Jung},
journal= {arXiv preprint arXiv:1912.00846},
year = {2020}
}
备注
5 pages, Accepted as a conference paper at ICASSP 2020