通过对比跨模态检索增强与层次化提示实现多模态情感分析

多模态情感分析是情感计算领域的基础性问题。尽管已在跨模态交互方面取得显著进展，但由于跨模态交互中参考上下文不足，仍面临挑战。当前跨模态方法主要聚焦于在单个样本内部利用模态级别的参考上下文进行跨模态特征增强，忽略了作为样本级别参考上下文以增强跨模态特征的跨样本关系的潜在价值。为此，我们提出了一种新型多模态检索增强框架，同时整合样本级别和模态级别的参考上下文以增强多模态特征。具体而言，我们首先设计了对比跨模态检索模块，以检索语义相似的样本并增强目标模态。为使模型能够捕获样本级别和样本内部信息，我们整合两种不同的提示类型：模态级别提示和样本级别提示，分别生成模态级别和样本级别的参考上下文。最后，我们设计了跨模态检索增强编码器，同时利用模态级别和样本级别的参考上下文来增强目标模态。广泛的实验表明，我们的方法在两个公开数据集上表现出效力和优越性。