Think Twice Before You Judge：基于双推理专家混合的多模态讽刺检测
计算与语言
2025-10-30 v2
摘要
随着社交媒体多媒体帖子的增多，多模态讽刺检测受到广泛关注。理解讽刺性的图像-文本帖子往往需要外部上下文知识，如文化背景或常识推理。然而，现有模型难以捕捉讽刺背后的深层逻辑，主要依赖浅层线索，如图像标题或图像中的物体-属性配对。为此，我们提出 MiDRE（Mixture of Dual Reasoning Experts），集成用于检测图像-文本对内在不一致的内部推理专家，以及利用通过链式思考（Chain-of-Thought）提示大型视觉-语言模型生成的结构化理由的外部推理专家。我们设计了一个自适应门控机制，动态加权两种专家，选择最相关的推理路径。不同于先前方法将外部知识视为静态输入，MiDRE 有选择性地适应何时需要此类知识，从而减轻大型模型产生幻觉或无关信号的风险。在两个基准数据集上的实验表明，MiDRE 在准确率上优于基线方法。各种定性分析均凸显了外部理由的关键作用，揭示即使这些理由偶尔噪声存在，仍为模型提供了有价值的线索，引导模型更好地理解讽刺。
引用
@article{arxiv.2507.04458,
title = {Think Twice Before You Judge: Mixture of Dual Reasoning Experts for Multimodal Sarcasm Detection},
author = {Soumyadeep Jana and Abhrajyoti Kundu and Sanasam Ranbir Singh},
journal= {arXiv preprint arXiv:2507.04458},
year = {2025}
}