通过CBAM注意力与双层BiLSTM架构探索多模态情感分析
计算机视觉与模式识别
2023-03-28 v1 多媒体
摘要
由于多模态数据包含更多模态信息，多模态情感分析已成为近期的研究热点。然而，特征提取后的特征融合容易引入冗余信息，对融合后的特征表示产生一定影响。因此，在本文中，我们提出了一种新的多模态情感分析模型。在我们的模型中，我们使用BERT + BiLSTM作为新的特征提取器，以捕获句子中的长距离依赖并考虑输入序列的位置信息，从而获得更丰富的文本特征。为了去除冗余信息并使网络更关注图像与文本特征之间的相关性，在拼接文本特征和图片特征后加入CNN和CBAM注意力，以提升特征表示能力。在MVSA-single数据集和HFM数据集上，与基线模型相比，我们模型的ACC分别提高了1.78%和1.91%，F1值分别提升了3.09%和2.0%。实验结果表明，我们的模型取得了良好效果，与先进模型相近。
引用
@article{arxiv.2303.14708,
title = {Exploring Multimodal Sentiment Analysis via CBAM Attention and Double-layer BiLSTM Architecture},
author = {Huiru Wang and Xiuhong Li and Zenyu Ren and Dan Yang and chunming Ma},
journal= {arXiv preprint arXiv:2303.14708},
year = {2023}
}