基于深度模态对齐与自监督多任务学习的多模态情感分析共享与私有信息学习
计算与语言
2024-03-20 v2 计算机视觉与模式识别
摘要
为多模态情感分析任务设计有效的表示学习方法是重要的研究方向。其挑战在于在完整的模态表示中学习共享与私有信息，而统一的模态标签与原始特征融合方法难以实现这一点。本工作中，我们提出一种基于协方差矩阵的深度模态共享信息学习模块，以捕获模态间的共享信息。此外，我们使用基于自监督学习策略的标签生成模块来捕获模态的私有信息。我们的模块在多模态任务中是即插即用的，并且通过改变参数化，可调整模态间的信息交换关系并学习指定模态间的私有或共享信息。我们还采用多任务学习策略以帮助模型将注意力聚焦于模态区分训练数据。我们为深度模态共享信息学习模块的设计提供了详细的公式推导与可行性证明。我们在三个常用多模态情感分析基准数据集上进行了大量实验，实验结果验证了模型的可靠性。此外，我们探索了使用该模块的更多组合技术。我们的方法在三个公开数据集的大部分指标上优于当前最先进（SOTA）方法。
引用
@article{arxiv.2305.08473,
title = {Shared and Private Information Learning in Multimodal Sentiment Analysis with Deep Modal Alignment and Self-supervised Multi-Task Learning},
author = {Songning Lai and Jiakang Li and Guinan Guo and Xifeng Hu and Yulong Li and Yuan Tan and Zichen Song and Yutong Liu and Zhaoxia Ren and Chun Wan and Danmin Miao and Zhi Liu},
journal= {arXiv preprint arXiv:2305.08473},
year = {2024}
}