面向多模态虚假信息可信度预测的场景图增强混合融合方法——SceneGraMMi
计算与语言
2024-10-22 v1
摘要
虚假信息削弱个体知识，影响更广泛的社会叙事。尽管研究社区对多模态误导信息检测越来越感兴趣，但现有方法在捕捉多模态数据集中的语义线索、关键区域及跨模态相似性方面存在局限。我们提出了 SceneGraMMi，即基于场景图增强的混合融合方法，用于多模态虚假信息可信度预测，该方法整合不同模态的场景图，以提升检测性能。实验结果表明，SceneGraMMi 在四个基准数据集上 consistently 优于最先进的方法。在详尽的消融研究中，我们突出了每个组件的贡献；同时采用Shapley值检验模型决策过程的可解释性。
引用
@article{arxiv.2410.15517,
title = {SceneGraMMi: Scene Graph-boosted Hybrid-fusion for Multi-Modal Misinformation Veracity Prediction},
author = {Swarang Joshi and Siddharth Mavani and Joel Alex and Arnav Negi and Rahul Mishra and Ponnurangam Kumaraguru},
journal= {arXiv preprint arXiv:2410.15517},
year = {2024}
}