TriSPrompt：一种用于模态不完整多模态谣言检测的层次化软提示模型
计算与语言
2025-09-25 v1 人工智能
摘要
多模态数据中普遍存在的模态不完整现象，对实现准确的谣言检测构成了重大挑战。现有的多模态谣言检测方法主要侧重于从完整的多模态训练数据中学习联合模态表示，这使得它们无法有效应对现实场景中常见的缺失模态问题。本文提出了一种层次化软提示模型 TriSPrompt，该模型集成了三种类型的提示，即模态感知（MA）提示、模态缺失（MM）提示和互视角（MV）提示，以有效检测不完整多模态数据中的谣言。MA 提示同时捕获来自特定模态的异构信息和来自可用数据的同构特征，有助于模态恢复。MM 提示对不完整数据中的缺失状态进行建模，增强了模型对缺失信息的适应性。MV 提示学习主观（即文本和图像）与客观（即评论）视角之间的关系，从而有效检测谣言。在三个真实世界基准数据集上的大量实验表明，与最先进的方法相比，TriSPrompt 的准确率提升了超过 13%。代码和数据集可在 https://anonymous.4open.science/r/code-3E88 获取。
引用
@article{arxiv.2509.19352,
title = {TriSPrompt: A Hierarchical Soft Prompt Model for Multimodal Rumor Detection with Incomplete Modalities},
author = {Jiajun Chen and Yangyang Wu and Xiaoye Miao and Mengying Zhu and Meng Xi},
journal= {arXiv preprint arXiv:2509.19352},
year = {2025}
}