基于对比学习的多模态短视频谣言检测系统
计算机视觉与模式识别
2023-05-18 v3 机器学习
摘要
随着短视频平台作为新闻传播重要渠道的兴起，中国主要平台已逐渐演变为假新闻滋生的沃土。然而，由于视频间信息量大且共享特征多，导致同质化，区分短视频谣言构成重大挑战。为有效应对短视频谣言传播，我们研究组提出一种涵盖多模态特征融合与外部知识整合的方法论，并考量各算法的优劣。所提出的检测方案包括以下步骤：（1）构建包含从短视频提取的多特征的综合数据集；（2）开发多模态谣言检测模型：首先采用 Temporal Segment Networks（TSN）视频编码模型提取视频特征，随后利用 Optical Character Recognition（OCR）与 Automatic Speech Recognition（ASR）提取文本特征，接着使用 BERT 模型融合文本与视频特征；（3）通过对比学习进行区分：我们通过爬取相关来源获取外部知识，并利用向量数据库将该知识融入分类输出。我们的研究过程由实际考量驱动，本研究所得知识将在短视频谣言识别与社会舆情管理等实际场景中具有重要价值。
引用
@article{arxiv.2304.08401,
title = {Multimodal Short Video Rumor Detection System Based on Contrastive Learning},
author = {Yuxing Yang and Junhao Zhao and Siyi Wang and Xiangyu Min and Pengchao Wang and Haizhou Wang},
journal= {arXiv preprint arXiv:2304.08401},
year = {2023}
}