GAMED：用于多模态假新闻检测的知识自适应多专家解耦
机器学习
2025-03-04 v2 人工智能
摘要
多模态假新闻检测通常涉及对异构数据源（如视觉和语言）的建模。现有检测方法通常依赖融合有效性和跨模态一致性来对内容进行建模，这使得理解每种模态如何影响预测准确度变得复杂。此外，这些方法主要基于静态特征建模，难以适应不同数据模态间的动态变化与关系。本文开发了一种极具创新性的多模态建模方法 GAMED，其重点在于通过模态解耦生成具有区分度的判别性特征，以增强跨模态协同作用，从而优化检测过程中的整体性能。GAMED 利用多个并行专家网络来细化特征，并预嵌入语义知识，以提升专家在信息选择和观点共享方面的能力。随后，基于各专家的意见自适应地调整每种模态的特征分布。GAMED 还引入了一种新颖的分类技术，以动态管理不同模态的贡献，同时提升决策的可解释性。在 Fakeddit 和 Yang 数据集上的实验结果表明，GAMED 的性能优于近期开发的最先进模型。源代码可在 https://github.com/slz0925/GAMED 获取。
引用
@article{arxiv.2412.12164,
title = {GAMED: Knowledge Adaptive Multi-Experts Decoupling for Multimodal Fake News Detection},
author = {Lingzhi Shen and Yunfei Long and Xiaohao Cai and Imran Razzak and Guanming Chen and Kang Liu and Shoaib Jameel},
journal= {arXiv preprint arXiv:2412.12164},
year = {2025}
}