面向误导性多模态内容的零样本警告生成
人工智能
2025-02-04 v1 计算与语言
信息检索
摘要
错误信息的广泛传播引发了重大的社会关切。语境错位的错误信息，即真实图像配以虚假文本，尤其具有欺骗性，容易误导受众。现有的检测方法大多主要评估图文一致性，但往往缺乏足够的解释，而解释对于有效辟谣至关重要。我们提出一个模型，通过跨模态一致性检查来检测多模态错误信息，且仅需极少的训练时间。此外，我们提出了一个轻量级模型，仅使用三分之一的参数就实现了有竞争力的性能。我们还引入了一个双重用途的零样本学习任务，用于生成情境化警告，从而实现自动辟谣并增强用户理解。对生成警告的定性和人工评估凸显了我们方法的潜力和局限性。
引用
@article{arxiv.2502.00752,
title = {Zero-Shot Warning Generation for Misinformative Multimodal Content},
author = {Giovanni Pio Delvecchio and Huy Hong Nguyen and Isao Echizen},
journal= {arXiv preprint arXiv:2502.00752},
year = {2025}
}