Factify 2022竞赛中Logically团队的多模态事实核查方法

本文描述了我们在AAAI 2022多模态事实核查（Factify）挑战赛中的参赛系统。尽管基于文本核查技术和跨视觉与语言的大型预训练多模态模型近期取得了进展，但在应用多模态技术自动化事实核查过程方面所做的工作非常有限，尤其是考虑到社交媒体上关于图像和视频的声明与假新闻日益增多。在我们的工作中，该挑战被视为多模态蕴含任务并构建为多分类问题。我们提出并探索了两种基线方法，包括集成模型（组合两个单模态模型）和多模态注意力网络（对来自声明和证据文档的图像-文本对之间的交互建模）。我们进行了若干实验，在此工作中研究并基准测试了不同的SOTA预训练transformer和视觉模型。我们的最佳模型在排行榜上排名第一，在验证集和测试集上均获得了0.77的加权平均F值。我们还对Factify数据集进行了探索性分析，揭示了显著的模式和问题（例如词重叠、视觉蕴含相关性、来源偏差），这些促使了我们的假设。最后，我们强调了该任务和多模态数据集对未来研究的挑战。