面向假新闻检测的模态交互式混合专家

假新闻在社交媒体平台上的扩散对脆弱人群影响不成比例，削弱信任，加剧不平等，并放大有害叙事。检测包含文本和图像的多模态假新闻尤其具有挑战性，因为需要捕捉文本与视觉元素之间细微的相互作用，这些相互作用可能补充、矛盾或独立影响帖子可信度的预测。为此，我们提出Modality Interactive Mixture-of-Experts for Fake News Detection (MIMoE-FND)，一种新的分层混合专家框架，旨在通过交互门控机制明确建模模态之间的相互作用，以增强多模态假新闻检测。我们的方法通过评估两种关键的模态相互作用方面来建模模态相互作用：单模态预测一致性和语义对齐。MIMoE-FND的分层结构允许针对不同的融合情景学习不同的路径，适应每种模态相互作用的独特特征。通过针对不同模态相互作用场景定制化融合策略，MIMoE-FND提供了一种更稳健、更细致的多模态假新闻检测方法。我们在三个覆盖两种语言的真实世界基准数据集上评估了该方法，证明其性能优于最先进的方法。通过提高假新闻检测的准确性和可解释性，MIMoE-FND为减轻虚假信息的传播提供了有前景的工具，有望更好地保护脆弱社区免受其有害影响。