结合外部证据与伪造特征增强的多模态谣言检测

社交媒体日益通过图文混合帖子传播信息，但谣言常利用细微的不一致性和伪造内容，使得仅基于帖子内容的检测变得困难。深层语义失配谣言在表面上对齐图像与文本，构成了特殊挑战并威胁网络舆论。现有的多模态谣言检测方法改进了跨模态建模，但存在特征提取有限、对齐存在噪声、融合策略不够灵活等问题，同时忽略了验证复杂谣言所必需的外部事实证据。为解决这些局限性，我们提出了一种结合外部证据与伪造特征增强的多模态谣言检测模型。该模型使用 ResNet34 视觉编码器、BERT 文本编码器，以及一个通过傅里叶变换提取频域痕迹和压缩伪影的伪造特征模块。BLIP 生成的图像描述桥接了图像与文本语义空间。双对比学习模块计算文本-图像和文本-描述对之间的对比损失，提升了对语义不一致性的检测能力。门控自适应特征缩放融合机制动态调整多模态融合并减少冗余。在 Weibo 和 Twitter 数据集上的实验表明，我们的模型在宏观准确率、召回率和 F1 分数上均优于主流基线方法。