基于早期融合语言、视觉与社交特征的多模态虚假信息检测
机器学习
2025-07-04 v1 计算与语言
社会与信息网络
摘要
在选举和危机期间，大量虚假信息冲击社交媒体，导致广泛关注虚假信息检测。虽然已有大量研究聚焦基于文本或图像的方法，但仅有少数研究探索了文本、图像等多模态特征的组合。本研究采用早期融合方法整合文本、图像和社交特征，构建分类模型进行虚假信息检测。该研究分析了1529条包含文本和图像的推文，这些推文在新冠疫情和选举期间收集自 Twitter（现为 X）。通过目标检测和光学字符识别（OCR）等技术，对数据进行补充，以提取额外的社交特征和视觉特征。结果表明，结合无监督和监督机器学习模型的分类性能比单模态模型提高15%，比双模态模型提高5%。此外，本研究分析了虚假信息推文及其传播者的特征对虚假信息传播模式的影响。
引用
@article{arxiv.2507.01984,
title = {Multimodal Misinformation Detection Using Early Fusion of Linguistic, Visual, and Social Features},
author = {Gautam Kishore Shahi},
journal= {arXiv preprint arXiv:2507.01984},
year = {2025}
}