RaCMC：用于虚假新闻检测的残差感知补偿网络及多粒度约束

多模态虚假新闻检测旨在自动识别真实或虚假新闻，从而缓解此类误导信息所导致的负面影响。尽管已有的先行方法已显示出有效性，但在跨模态特征融合与细化方面仍面临挑战。为此，我们提出了一种用于虚假新闻检测的残差感知补偿网络及多粒度约束（RaCMC），旨在充分交互和融合跨模态特征，同时放大真实与虚假新闻之间的差异。首先，设计了多尺度残差感知补偿模块，用于在不同尺度上进行特征交互和融合，确保特征交互的一致性和排他性，从而获得高质量特征。其次，实现了多粒度约束模块，用于限制新闻整体以及新闻中图像-文本对的分布，从而在新闻和特征水平上放大真实与虚假新闻的差异。最后，开发了主导特征融合推理模块，用于从一致性和不一致性两个角度全面评估新闻的真实性。在包括 Weibo17、PolitiFact 和 GossipCop 在内的三个公开数据集上的实验结果表明，所提方法具有优势。