CroMe：基于跨模态三变换器和度量学习的多模态假新闻检测
机器学习
2025-11-27 v2 人工智能
计算机视觉与模式识别
摘要
最近，多模态假新闻检测受到广泛关注。现有方法依赖于独立编码单模态数据，忽视了利用先进技术捕捉单模态内部关系和整合跨模态相似性的优势。为此提出了基于跨模态三变换器和度量学习的多模态假新闻检测方法（CroMe）。CroMe 利用基于 Frozen Image Encoders 和大语言模型（LLMs）的自举语言-图像预训练（Bootstrapping Language-Image Pre-training, BLIP2）作为编码器，以捕捉详细的文本、图像和组合图像-文本表示。度量学习模块采用代理锚点方法捕捉单模态关系，而特征融合模块使用跨模态三变换器进行有效集成。最终的假新闻检测器通过分类器处理融合特征，以预测内容的真实性。实验在数据集上的表现表明，CroMe 在多模态假新闻检测方面表现出色。
引用
@article{arxiv.2501.12422,
title = {CroMe: Multimodal Fake News Detection using Cross-Modal Tri-Transformer and Metric Learning},
author = {Eunjee Choi and Junhyun Ahn and XinYu Piao and Jong-Kook Kim},
journal= {arXiv preprint arXiv:2501.12422},
year = {2025}
}