面向多模态讽刺检测：基于知识增强的层次一致性建模
计算与语言
2022-10-18 v2
摘要
讽刺是一种表明字面意义与隐含意图之间差异的语言现象。由于其复杂本质，仅从文本本身通常难以检测。因此，多模态讽刺检测在学术界与工业界均受到更多关注。然而，大多数现有技术仅建模文本输入与其伴随图像之间的原子级不一致，忽略了两种模态更复杂的组合。此外，它们忽视了外部知识（如图像描述）中所含的丰富信息。本文中，我们提出一种新颖的层次框架用于讽刺检测，通过基于多头交叉注意力机制的原子级一致性与基于图神经网络的组合级一致性进行探索，其中一致性低的帖子可被识别为讽刺。另外，我们探究了各类知识资源对讽刺检测的作用。基于Twitter的公开多模态讽刺检测数据集上的评估结果证明了我们所提模型的优越性。
引用
@article{arxiv.2210.03501,
title = {Towards Multi-Modal Sarcasm Detection via Hierarchical Congruity Modeling with Knowledge Enhancement},
author = {Hui Liu and Wenya Wang and Haoliang Li},
journal= {arXiv preprint arXiv:2210.03501},
year = {2022}
}
备注
Accepted by EMNLP2022