假新闻如何使用缩略图？基于 CLIP 的非代表性新闻图像多模态检测
计算与语言
2022-04-28 v2 社会与信息网络
摘要
本研究探讨假新闻如何为新闻文章使用缩略图，重点关注新闻文章的缩略图是否能正确代表新闻内容。带有不相关缩略图的新闻文章可能误导读者对事件产生错误印象，尤其是在社交媒体环境中，用户较少点击链接并阅读完整内容。我们提出利用预训练的 CLIP 表示来捕捉多模态关系中的语义不一致程度。从来源层面的分析发现，假新闻比一般新闻使用了与主要内容更不相符的图像。进一步，我们尝试检测具有图文不一致的新闻文章。评估实验表明，基于 CLIP 的方法能够成功检测出缩略图与新闻文本在语义上不相关的新闻文章。本研究通过提供应对在线假新闻与错误信息的全新视角，为相关研究作出贡献。代码与数据集见 https://github.com/ssu-humane/fake-news-thumbnail。
引用
@article{arxiv.2204.05533,
title = {How does fake news use a thumbnail? CLIP-based Multimodal Detection on the Unrepresentative News Image},
author = {Hyewon Choi and Yejun Yoon and Seunghyun Yoon and Kunwoo Park},
journal= {arXiv preprint arXiv:2204.05533},
year = {2022}
}
备注
9 pages, 8 figures including appendix figure, 2 tables. Published in Findings of ACL workshop, CONSTRAINT 2022 (Long paper). The manuscript is slightly revised after the camera ready version