基于知识感知贝叶斯协同注意的多模态情绪识别
计算与语言
2023-03-08 v3 声音
音频与语音处理
摘要
多模态情绪识别是一个具有挑战性的研究领域，旨在融合不同模态以预测人类情绪。然而，大多数基于注意力机制的现有模型难以自行学习到与情绪相关的部分。为解决该问题，我们提出在基于协同注意的预训练模型融合中引入外部情绪相关知识。为有效融入该知识，我们利用贝叶斯注意力模块（BAM）增强协同注意模型，其中先验分布由情绪相关知识估计。在IEMOCAP数据集上的实验结果表明，所提方法以至少0.7%的非加权准确率（UA）优于多种最先进方法。
引用
@article{arxiv.2302.09856,
title = {Knowledge-aware Bayesian Co-attention for Multimodal Emotion Recognition},
author = {Zihan Zhao and Yu Wang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2302.09856},
year = {2023}
}
备注
Accepted to IEEE ICASSP 2023