Triple-Check团队在Factify 2中的工作：基于特征表示与参数高效大型基础模型的多模态事实核查
计算与语言
2023-02-16 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
由于新闻内容虚假信息中文本与图像的不匹配，多模态事实核查已成为社交媒体上一个重要但具有挑战性的问题，近年来通过考虑跨模态来识别新闻真实性已得到解决。在本文中，我们提出了Pre-CoFactv2框架，该框架采用新的参数高效基础模型，以轻量参数对细粒度文本和输入嵌入进行建模，采用多模态多类型融合不仅捕获相同和不同模态之间的关系，还捕获不同类型（即声明和文档）之间的关系，并采用特征表示为每个样本显式提供元数据。此外，我们引入了一种统一集成方法，通过不仅用权重而且用幂次调整每个训练模型的重要性来提升模型性能。大量实验表明，Pre-CoFactv2大幅优于Pre-CoFact，并在AAAI 2023的Factify挑战赛中取得了新的最先进（SOTA）结果。我们进一步说明了模型变体以验证不同组件的相对贡献。我们的团队获得了一等奖（F1分数：81.82%），并且我们在https://github.com/wwweiwei/Pre-CoFactv2-AAAI-2023公开了代码。
引用
@article{arxiv.2302.07740,
title = {Team Triple-Check at Factify 2: Parameter-Efficient Large Foundation Models with Feature Representations for Multi-Modal Fact Verification},
author = {Wei-Wei Du and Hong-Wei Wu and Wei-Yao Wang and Wen-Chih Peng},
journal= {arXiv preprint arXiv:2302.07740},
year = {2023}
}
备注
AAAI-23 DeFactify 2 Workshop (1st Prize)