一种用于波斯语情感分析的新型上下文感知多模态框架
计算与语言
2021-03-05 v1 机器学习
摘要
近期大多数情感分析工作都利用了文本模态。然而，每天发布在社交媒体平台上的数百万小时视频记录蕴含着重要的非结构化信息，可被用于更有效地评估公众认知。多模态情感分析提供了一种创新方案，通过上下文地利用音频、视觉和文本线索，以计算方式理解并提取视频中的情感。本文中，我们首先提出了一个首创的波斯语多模态数据集，包含超过 800 条话语，作为研究人员评估波斯语多模态情感分析方法的基准资源。其次，我们提出一种新型上下文感知多模态情感分析框架，同时利用声学、视觉和文本线索以更准确地判定所表达的情感。我们采用决策级（晚期）和特征级（早期）融合方法来整合跨模态情感信息。实验结果表明，文本、声学和视觉等模态特征的上下文整合取得了优于单模态特征（89.24%）的性能（91.39%）。
引用
@article{arxiv.2103.02636,
title = {A Novel Context-Aware Multimodal Framework for Persian Sentiment Analysis},
author = {Kia Dashtipour and Mandar Gogate and Erik Cambria and Amir Hussain},
journal= {arXiv preprint arXiv:2103.02636},
year = {2021}
}
备注
Accepted in Neurocomputing