TT-BLIP：利用 BLIP 和三 Transformer 增强虚假新闻检测
机器学习
2025-01-24 v2 计算机视觉与模式识别
摘要
虚假新闻检测已受到广泛关注。许多先前方法将独立编码的单模态数据简单拼接，忽略了融合多模态信息的优势。同时，缺乏针对文本和图像的专门特征提取进一步限制了这些方法。本文提出一种端到端模型 TT-BLIP，将用于统一视觉-语言理解与生成的引导式语言-图像预训练（BLIP）应用于三类信息：BERT 和 BLIPTxt 用于文本，ResNet 和 BLIPImg 用于图像，双向 BLIP 编码器用于多模态信息。多模态三 Transformer 利用三种多头注意力机制融合三模态特征，确保模态整合以增强表示并改善多模态数据分析。实验在两个虚假新闻数据集 Weibo 和 Gossipcop 上进行。结果表明 TT-BLIP 优于当前最先进的模型。
引用
@article{arxiv.2403.12481,
title = {TT-BLIP: Enhancing Fake News Detection Using BLIP and Tri-Transformer},
author = {Eunjee Choi and Jong-Kook Kim},
journal= {arXiv preprint arXiv:2403.12481},
year = {2025}
}
备注
8 pages, Accepted 27th International Conference on Information Fusion, FUSION 2024