面向假新闻检测的多模态逆注意力网络及其内在判别特征挖掘

多模态假新闻检测因其对社会安全的深远影响而备受关注。现有方法虽有助于理解跨模态一致性，但往往未能充分利用模态特定表示和显式差异特征。为解决这些局限，我们提出多模态逆注意力网络（MIAN），这是一个新颖的框架，通过挖掘基于新闻内容的内在判别特征来推进假新闻检测。具体而言，MIAN 引入了一个层次化学习模块，通过局部到全局和局部到局部的交互捕捉多样化的模态内关系，从而生成增强的单模态表示，以提升模态内层面对假新闻的识别能力。此外，跨模态交互模块采用协同注意力机制，在精炼后的单模态表示之间建立并建模依赖关系，促进跨模态的无缝语义融合。为显式提取不一致性特征，我们提出一种逆注意力机制，有效突出假新闻在模态内和模态间引入的冲突模式和语义偏差。在基准数据集上的大量实验表明，MIAN 显著优于现有最优方法，凸显了其通过增强的多模态假新闻检测对提升社会安全的关键贡献。