RNG：降低多级噪声与多粒度语义鸿沟以用于联合多模态方面-情感分析

作为一项重要的多模态情感分析任务，联合多模态方面-情感分析（JMASA）旨在从给定的文本-图像对中联合提取方面词及其关联的情感极性，正受到越来越多的关注。现有工作存在两个局限性：（1）多级模态噪声，即实例级和特征级噪声；以及（2）多粒度语义鸿沟，即粗粒度和细粒度鸿沟。这两个问题都可能干扰方面-情感对的准确识别。为了解决这些局限性，我们提出了一种名为 RNG 的新颖框架用于 JMASA。具体而言，为了同时降低多级模态噪声和多粒度语义鸿沟，我们设计了三个约束：（1）基于文本-图像相似度的全局相关性约束，用于实例级降噪；（2）基于信息瓶颈原理的信息瓶颈约束，用于特征级降噪；以及（3）基于对比学习方式中互信息最大化的语义一致性约束，用于缩小多粒度语义鸿沟。在两个数据集上的大量实验验证了我们达到新的最先进性能。