一种量子概率驱动的联合多模态讽刺、情感与情绪分析框架
计算与语言
2023-06-07 v1 人工智能
摘要
讽刺、情感与情绪是人类对外部事件的三类典型自发情感反应，且彼此紧密交织。此类事件可能以多种模态（如语言、视觉与听觉）表达，例如多模态对话。对人类多模态讽刺、情感与情绪的联合分析是一个重要且具有挑战性的课题，因其涉及跨模态交互与跨情感关联的复杂认知过程。从概率论视角看，跨情感关联也意味着对讽刺、情感与情绪的判断是不相容的。然而，由于经典概率论相容性假设的局限，这一显现现象无法被充分建模，现有方法亦未加以考虑。鉴于量子概率（QP）在建模人类认知（特别是情境化不相容决策）方面近期的成功，我们首次将 QP 引入联合多模态讽刺、情感与情绪分析。具体而言，我们提出一种量子概率驱动的多模态讽刺、情感与情绪分析框架，称为 QUIET。在两个数据集上的大量实验及结果表明，与广泛的最先进基线相比，QUIET 具有有效性与优势。我们也展示了 QP 在多情感分析中的巨大潜力。
引用
@article{arxiv.2306.03650,
title = {A Quantum Probability Driven Framework for Joint Multi-Modal Sarcasm, Sentiment and Emotion Analysis},
author = {Yaochen Liu and Yazhou Zhang and Dawei Song},
journal= {arXiv preprint arXiv:2306.03650},
year = {2023}
}