基于微调自注意力与迁移学习的多模态融合用于网络信息真实性分析
社会与信息网络
2021-09-28 v1
摘要
自在线社交网络出现以来，虚假信息与假新闻的困扰已急剧放大数倍。被操纵、捏造、带有偏见或未经验证的新闻帖子会对人类意识和决策能力产生负面影响。因此，亟需设计真实性分析系统以检测多种数据模态中的虚假信息内容。为寻求这一关键问题的精妙解决方案，我们提出了一种同时考虑数据文本与视觉属性的架构。数据预处理完成后，使用独立的深度学习模型从训练数据中提取文本与图像特征。文本特征提取采用 BERT 和 ALBERT 语言模型，其借助深度自注意力机制利用变换器的双向训练优势；图像数据则采用 Inception-ResNet-v2 深度神经网络模型执行该任务。所提框架聚焦于 BERT 与 Inception-ResNet-v2 以及 ALBERT 与 Inception-ResNet-v2 两种独立的多模态融合架构。文本与视觉分支的多模态融合通过特征向量拼接和概率加权平均分别进行广泛实验与分析，前者称为早期融合，后者称为晚期融合。我们使用三个公开且被广泛接受的数据集 All Data、Weibo 和 MediaEval 2016（分别对应英文新闻文章、中文新闻文章和推文），以便对我们所设计框架的结果进行恰当测试并与该领域以往显著工作进行比较。
引用
@article{arxiv.2109.12547,
title = {Multi-modal Fusion using Fine-tuned Self-attention and Transfer Learning for Veracity Analysis of Web Information},
author = {Priyanka Meel and Dinesh Kumar Vishwakarma},
journal= {arXiv preprint arXiv:2109.12547},
year = {2021}
}
备注
31 pages, 12 figures