基于跨模态增强的少样本多模态虚假新闻检测

虚假新闻是一项新兴议题，亟需自动化检测方法以快速从有限标注样本中学习。因此，能够从有限指导下快速获取新任务技能的能力——即少样本学习——对于在早期阶段检测虚假新闻至关重要。现有方法要么涉及微调配备大量参数的预训练语言模型，要么需要大规模标注数据集来从头训练复杂的神经网络。本文提出了一种多模态虚假新闻检测模型，通过对 unimodal 特征进行增强来丰富 multimodal 特征。为此，我们引入了跨模态增强（CMA），这是一种简单的方法，通过将 n 样本分类转换为更稳健的（n $\times$ z）样本问题，其中 z 表示补充特征的数量。该方法通过仅使用少量训练样本即可实现对 multimodal 虚假新闻的线性探测分类，显著减少了可训练参数数量和训练时数。实验表明，CMA 在三个基准数据集上实现了最新的 SOTA 成绩。我们的代码已公开：https://github.com/zgjiangtoby/FND_fewshot。