RCLMuFN：用于多模态讽刺检测的关系上下文学习与多重融合网络
计算与语言
2024-12-18 v1
摘要
讽刺通常通过表达与说话者真实意图相反的含义来传达蔑视或批评的情绪。准确检测讽刺有助于识别和过滤互联网上的不良信息，从而减少恶意诽谤和散布谣言。尽管如此，自动讽刺检测任务对机器而言仍然极具挑战性，因为它严重依赖于关系上下文等复杂因素。大多数现有的多模态讽刺检测方法侧重于引入图结构来建立文本与图像之间的实体关系，却忽略了学习文本与图像之间的关系上下文，而这是理解讽刺含义的关键证据。此外，讽刺的含义会随着不同上下文的演变而变化，但现有方法在建模此类动态变化时可能不够准确，限制了模型的泛化能力。为了解决上述问题，我们提出了一种用于多模态讽刺检测的关系上下文学习与多重融合网络（RCLMuFN）。首先，我们采用四个特征提取器从原始文本和图像中全面提取特征，旨在挖掘可能被忽略的潜在特征。其次，我们利用关系上下文学习模块学习文本和图像的上下文信息，并通过浅层和深层交互捕捉动态属性。最后，我们采用多重特征融合模块，通过深入整合源自各种交互上下文的多模态特征来增强模型的泛化能力。在两个多模态讽刺检测数据集上的大量实验表明，我们提出的方法实现了 state-of-the-art 性能。
引用
@article{arxiv.2412.13008,
title = {RCLMuFN: Relational Context Learning and Multiplex Fusion Network for Multimodal Sarcasm Detection},
author = {Tongguan Wang and Junkai Li and Guixin Su and Yongcheng Zhang and Dongyu Su and Yuxue Hu and Ying Sha},
journal= {arXiv preprint arXiv:2412.13008},
year = {2024}
}