GSIFN：一种基于图结构和交错掩码的多模态 Transformer 融合网络用于多模态情感分析

多模态情感分析（MSA）利用多种数据模态来分析人类情感。现有的 MSA 模型通常采用前沿的多模态融合和基于表示学习的方法来提升 MSA 能力。然而，存在两个关键挑战：（i）在现有的多模态融合方法中，模态组合的解耦和巨大的参数冗余导致融合性能和效率不足；（ii）在单模态特征提取器和编码器中，表示能力与计算开销之间存在困难的权衡。我们提出的 GSIFN 包含两个主要组件来解决这些问题：（i）一种图结构和交错掩码的多模态 Transformer。它采用交错掩码机制来构建鲁棒的多模态图嵌入，实现全模态一体的基于 Transformer 的融合，并大幅降低计算开销；（ii）一个低计算开销、高性能的自监督学习框架，利用带有矩阵记忆的并行 LSTM 来增强非语言模态特征，用于单模态标签生成。在 MSA 数据集 CMU-MOSI、CMU-MOSEI 和 CH-SIMS 上的评估表明，与之前的最先进模型相比，GSIFN 以显著更低的计算开销实现了更优的性能。