面向多模态谣言检测的知识增强层次信息关联学习
计算机视觉与模式识别
2023-06-29 v1
摘要
社交媒体平台上带有文本和图像的谣言的爆发式增长引起了广泛关注。现有研究在跨模态信息交互与融合方面做出了重要贡献,但未能充分挖掘不同模态内容间层次化且复杂的语义关联,严重限制了其在多模态谣言检测上的性能。本文提出一种新颖的知识增强层次信息关联学习方法(KhiCL)用于多模态谣言检测,通过联合建模基础语义关联与高阶知识增强实体关联。具体而言,KhiCL 利用跨模态联合字典将异构的单模态特征迁移至公共特征空间,并通过跨模态融合层捕获基础的跨模态语义一致性与不一致性。此外,考虑到多模态内容的描述围绕实体展开,KhiCL 从图像和文本中提取视觉与文本实体,并设计知识相关性推理策略以在外部知识图中寻找每对实体间最短的语义相关路径,吸收该路径中其他相连实体的所有互补上下文知识用于学习知识增强的实体表示。进一步,KhiCL 利用带符号注意力机制,通过度量相应语义相关距离来建模模态内与模态间实体对的知识增强实体一致性与不一致性。大量实验证明了所提方法的有效性。
引用
@article{arxiv.2306.15946,
title = {Knowledge-Enhanced Hierarchical Information Correlation Learning for Multi-Modal Rumor Detection},
author = {Jiawei Liu and Jingyi Xie and Fanrui Zhang and Qiang Zhang and Zheng-jun Zha},
journal= {arXiv preprint arXiv:2306.15946},
year = {2023}
}