面向假新闻检测的相似性感知多模态提示学习
计算与语言
2023-10-13 v3
摘要
假新闻检测的标准范式主要利用文本信息对新闻真实性建模。然而，在线假新闻的论述通常较为隐晦，需专家知识才能用文本信息揭批假新闻。近来，聚焦多模态假新闻检测的研究已超越仅用文本的方法。近期利用预训练模型提取单模态特征或直接微调预训练模型的做法，已成为检测假新闻的新范式。但此范式要么需要大量训练样本，要么需更新预训练模型全部参数，使现实中的假新闻检测难以实用。此外，传统多模态方法直接融合跨模态特征，未考虑不相关的语义表示可能向多模态特征中注入噪声。本文提出相似性感知多模态提示学习（SAMPLE）框架。首先，我们将提示学习引入多模态假新闻检测。提示学习仅调优提示而冻结语言模型，相较微调可显著减少内存占用并取得相当性能。我们分析了三种带软 verbalizer 的提示模板以检测假新闻。此外，我们引入相似性感知融合方法，自适应融合多模态表示强度，并通过不相关跨模态特征缓解噪声注入。在评估中，SAMPLE 在两个基准多模态数据集上超越了先前工作的 F1 与准确率，证明了所提方法检测假新闻的有效性。并且，无论在少样本还是数据丰富设定下，SAMPLE 均优于其他方法。
引用
@article{arxiv.2304.04187,
title = {Similarity-Aware Multimodal Prompt Learning for Fake News Detection},
author = {Ye Jiang and Xiaomin Yu and Yimin Wang and Xiaoman Xu and Xingyi Song and Diana Maynard},
journal= {arXiv preprint arXiv:2304.04187},
year = {2023}
}