QuTI!多模态文档中文本-图像一致性的量化
信息检索
2021-04-29 v1 多媒体
摘要
万维网和社交媒体平台已成为新闻和信息的流行来源。通常,多模态信息(例如图像和文本)被用来更有效地传达信息并吸引注意力。虽然在大多数情况下图像内容是装饰性的或描绘附加信息,但近年来也被用来传播错误信息和谣言。在本文中,我们展示了一个基于Web的演示应用程序,可自动量化图像和文本中实体(人物、地点和事件)的跨模态关系。其应用广泛。例如,该系统可帮助用户更高效地探索多模态文章,或协助人工评估人员和事实核查工作验证新闻故事、推文或其他多模态文档的可信度。
引用
@article{arxiv.2104.13748,
title = {QuTI! Quantifying Text-Image Consistency in Multimodal Documents},
author = {Matthias Springstein and Eric Müller-Budack and Ralph Ewerth},
journal= {arXiv preprint arXiv:2104.13748},
year = {2021}
}
备注
Accepted for publication in: International ACM SIGIR Conference on Research and Development in Information Retrieval 2021