SemIRNet：用于多模态讽刺检测的语义讽刺识别网络
计算机视觉与模式识别
2025-06-19 v1 计算与语言
机器学习
摘要
针对在多模态讽刺检测任务中难以准确识别图形隐式关联的问题，本文提出了一种语义讽刺识别网络（SemIRNet）。该模型包含三个主要创新点：（1）首次引入 ConceptNet 知识库以获取概念知识，增强模型的常识推理能力；（2）设计两个在词级别和样本级别的跨模态语义相似度检测模块，以不同粒度建模图文关联；（3）引入对比学习损失函数，以优化样本特征的空间分布，提高正负样本的可分离性。在公开可用的多模态讽刺检测基准数据集上的实验表明，本模型的准确率和 F1 分值分别比现有最优方法提升了 1.64% 和 2.88%，分别达到 88.87% 和 86.33%。进一步的消融实验验证了知识融合和语义相似度检测在提高模型性能中的重要作用。
引用
@article{arxiv.2506.14791,
title = {SemIRNet: A Semantic Irony Recognition Network for Multimodal Sarcasm Detection},
author = {Jingxuan Zhou and Yuehao Wu and Yibo Zhang and Yeyubei Zhang and Yunchong Liu and Bolin Huang and Chunhong Yuan},
journal= {arXiv preprint arXiv:2506.14791},
year = {2025}
}
备注
5 pages, 3 figures