域外数据能否助力学习面向多模态虚假信息检测的域特定提示?
机器学习
2025-01-08 v4
摘要
在信息过载的时代，利用脱离上下文的图像与配文传播假新闻已变得十分普遍。由于假新闻可属于政治、体育等不同领域且各具特征，对测试图像-配文对的推断取决于模型在相似数据上的训练充分程度。由于为每个领域单独训练模型并不现实，我们提出一种称为 DPOD（利用域外数据的域特定提示微调）的新框架，它能在训练时利用域外数据同时提升所有目标领域的假新闻检测效果。首先，为计算可泛化特征，我们改进视觉-语言模型 CLIP，以提取有助于以标签感知方式对齐域内与域外数据的图像及对应配文表征的特征。此外，我们提出一种域特定提示学习技术，根据可用领域训练样本对目标领域的可用程度加以利用。在大规模 NewsCLIPpings 与 VERITE 基准上的大量实验表明，DPOD 在该极具挑战性的任务上取得了最先进的性能。代码：https://github.com/scviab/DPOD。
引用
@article{arxiv.2311.16496,
title = {Can Out-of-Domain data help to Learn Domain-Specific Prompts for Multimodal Misinformation Detection?},
author = {Amartya Bhattacharya and Debarshi Brahma and Suraj Nagaje Mahadev and Anmol Asati and Vikas Verma and Soma Biswas},
journal= {arXiv preprint arXiv:2311.16496},
year = {2025}
}