INO在Factify 2中的方案：基于结构一致性的多模态事实核查
机器学习
2023-03-06 v1 人工智能
计算与语言
摘要
本文描述了我们在AAAI2023多模态事实核查（FACTIFY）挑战赛中的方法。近年来，随着社交媒体的广泛使用，假新闻得以迅速传播并对社会安全产生负面影响。自动声明核查对于打击假新闻愈发关键。在涉及多模态数据的事实核查中，声明与文档之间应存在结构一致性。因此，我们提出了一种基于结构一致性的多模态事实核查方案来对假新闻进行分类。我们的结构一致性包含以下四个方面：句子长度、词汇相似度、语义相似度与图像相似度。具体而言，我们结合CLIP与Sentence BERT提取文本特征，并使用ResNet50提取图像特征。此外，我们还提取了文本长度及词汇相似度。随后将特征拼接并送入随机森林分类器。最终，我们的加权平均F1分数达到0.8079，在FACTIFY2中取得第二名。
引用
@article{arxiv.2303.01510,
title = {INO at Factify 2: Structure Coherence based Multi-Modal Fact Verification},
author = {Yinuo Zhang and Zhulin Tao and Xi Wang and Tongyue Wang},
journal= {arXiv preprint arXiv:2303.01510},
year = {2023}
}
备注
AAAI-23 DeFactify 2 Workshop (2nd Prize)