提升多模态假新闻检测的泛化能力

错误信息的日益泛滥及其惊人影响促使工业界和学术界开发假新闻检测方法。然而，最先进的方法通常在规模较小或主题有限的数据集上训练。因此，这些模型缺乏泛化能力，不适用于真实世界数据。在本文中，我们提出三种模型，采用并微调最先进的多模态 transformer 用于多模态假新闻检测。我们通过操纵输入数据进行深入分析，旨在探索模型在社交媒体真实用例中的性能。我们在多个模型上的研究表明，这些系统面对被操纵的数据时性能显著下降。为减少偏差并提升模型泛化能力，我们建议采用训练数据增强，以在社交媒体上开展更有意义的假新闻检测实验。所提出的数据增强技术使模型泛化更好，并取得了改进的 SOTA 结果。