用于多模态情感分析的协同情感智能体
计算与语言
2024-04-22 v1 计算机视觉与模式识别
摘要
在本文中，我们提出了一种新的用于多模态情感分析（MSA）的多模态表示学习（MRL）方法，通过协同情感智能体促进模态间的自适应交互，命名为 Co-SA。Co-SA 包含两个关键组件：情感智能体建立（SAE）阶段和情感智能体协同（SAC）阶段。在 SAE 阶段，每个情感智能体处理单模态信号，并通过模态情感解耦（MSD）和深度相空间重建（DPSR）模块突出模态内显式的动态情感变化。随后，在 SAC 阶段，Co-SA 为情感智能体精心设计了特定任务的交互机制，以协调多模态信号来学习联合表示。具体而言，Co-SA 为每个情感智能体配备了一个独立的策略模型，用于捕获模态内的重要属性。这些策略通过适应下游任务的统一奖励相互优化。得益于奖励机制，Co-SA 超越了预定义融合模式的限制，在多模态交互设置中自适应地捕获 MRL 的单模态属性。为了证明 Co-SA 的有效性，我们将其应用于处理多模态情感分析（MSA）和多模态情感识别（MER）任务。我们全面的实验结果表明，Co-SA 擅长发现多样的跨模态特征，涵盖共性和互补两个方面。代码可在 https://github.com/smwanghhh/Co-SA 获取。
引用
@article{arxiv.2404.12642,
title = {Cooperative Sentiment Agents for Multimodal Sentiment Analysis},
author = {Shanmin Wang and Hui Shuai and Qingshan Liu and Fei Wang},
journal= {arXiv preprint arXiv:2404.12642},
year = {2024}
}