中文

QuTI!多模态文档中文本-图像一致性的量化

信息检索 2021-04-29 v1 多媒体

摘要

万维网和社交媒体平台已成为新闻和信息的流行来源。通常,多模态信息(例如图像和文本)被用来更有效地传达信息并吸引注意力。虽然在大多数情况下图像内容是装饰性的或描绘附加信息,但近年来也被用来传播错误信息和谣言。在本文中,我们展示了一个基于Web的演示应用程序,可自动量化图像和文本中实体(人物、地点和事件)的跨模态关系。其应用广泛。例如,该系统可帮助用户更高效地探索多模态文章,或协助人工评估人员和事实核查工作验证新闻故事、推文或其他多模态文档的可信度。

关键词

引用

@article{arxiv.2104.13748,
  title  = {QuTI! Quantifying Text-Image Consistency in Multimodal Documents},
  author = {Matthias Springstein and Eric Müller-Budack and Ralph Ewerth},
  journal= {arXiv preprint arXiv:2104.13748},
  year   = {2021}
}

备注

Accepted for publication in: International ACM SIGIR Conference on Research and Development in Information Retrieval 2021