不一致 matters：一种用于多模态谣言检测的知识引导双一致性网络
机器学习
2023-06-21 v2
摘要
谣言传播者正越来越多地利用多媒体内容来吸引新闻消费者的注意与信任。尽管已有不少谣言检测模型利用了多模态数据，它们却很少考虑图像与文本间不一致的语义，也鲜少发现发布内容与背景知识间的不一致。此外，它们通常假设多模态的完整性，因而无法处理现实场景中的模态缺失。受社交媒体中谣言更可能具有不一致语义这一直觉的启发，我们提出一种新颖的知识引导双一致性网络（Knowledge-guided Dual-consistency Network）来检测含多媒体内容的谣言。它使用两个一致性检测子网络同时捕捉跨模态层面与内容-知识层面的不一致性。它还通过使用特殊标记区分有视觉模态与无视觉模态的帖子，实现在不同视觉模态缺失条件下的鲁棒多模态表示学习。在三个公开真实世界多媒体数据集上的大量实验表明，我们的框架在完整与不完整模态条件下均能超越最先进的基线。我们的代码见 https://github.com/MengzSun/KDCN。
引用
@article{arxiv.2306.02137,
title = {Inconsistent Matters: A Knowledge-guided Dual-consistency Network for Multi-modal Rumor Detection},
author = {Mengzhu Sun and Xi Zhang and Jianqiang Ma and Sihong Xie and Yazheng Liu and Philip S. Yu},
journal= {arXiv preprint arXiv:2306.02137},
year = {2023}
}