基于多模态概率融合提示的少样本多模态情感分析

由于社交媒体上多模态内容的激增，多模态情感分析受到了显著关注。然而，该领域的现有研究严重依赖大规模监督数据，其收集耗时耗力。因此，有必要应对少样本多模态情感分析的挑战。为解决此问题，我们提出了一种称为多模态概率融合提示（MultiPoint）的新方法，该方法在少样本场景下利用来自不同模态的多样线索进行多模态情感检测。具体而言，我们首先引入一种称为 CDS 的一致分布采样方法，其确保少样本数据集具有与完整数据集相同的类别分布。与先前主要基于文本模态提示的方法不同，我们设计了统一的多模态提示以减少不同模态间的差异，并将多模态示例动态融入每个多模态实例的上下文中。为增强模型鲁棒性，我们引入一种概率融合方法，对每個输入的多个不同提示的输出预测进行融合。我们在六个数据集上的大量实验证明了我们方法的有效性。首先，我们的方法在少样本多模态设定下优于强基线。此外，在相同数据量（完整数据集的 1%）下，我们基于 CDS 的实验结果显著优于基于先前从每类相同数量实例构建的采样数据集的结果。