面向多模态假新闻检测的跨模态对比学习
机器学习
2023-08-14 v2 人工智能
计算与语言
摘要
多模态假新闻的自动检测近来受到广泛关注。许多现有方法试图融合单模态特征以生成多模态新闻表示。然而，强大的跨模态对比学习方法在假新闻检测中的潜力尚未被充分挖掘。此外，如何聚合来自不同模态的特征以提升决策过程性能仍是一个开放问题。为此，我们提出COOLANT，一种用于多模态假新闻检测的跨模态对比学习框架，旨在实现更精准的图像-文本对齐。为进一步提高对齐精度，我们利用辅助任务在对比过程中软化负样本的损失项。我们开发了跨模态融合模块以学习跨模态相关性。通过带注意力引导模块的注意力机制，可有效且可解释地聚合对齐的单模态表示与跨模态相关性。最后，我们在两个广泛使用的数据集Twitter和Weibo上评估COOLANT并进行对比研究。实验结果表明，我们的COOLANT大幅优于先前方法，并在两个数据集上取得了新的最先进结果。
引用
@article{arxiv.2302.14057,
title = {Cross-modal Contrastive Learning for Multimodal Fake News Detection},
author = {Longzheng Wang and Chuang Zhang and Hongbo Xu and Yongxiu Xu and Xiaohan Xu and Siqi Wang},
journal= {arXiv preprint arXiv:2302.14057},
year = {2023}
}
备注
9 pages, 3 figures