NewsRECON:面向图像情境化的新闻文章检索
计算与语言
2026-01-21 v1
摘要
确定新闻图像的拍摄时间和地点对于记者和法证专家制作可信报道和揭穿错误信息至关重要。虽然许多现有方法依赖反向图像搜索(RIS)引擎,但这些工具往往无法返回结果,从而限制了其实际适用性。在这项工作中,我们解决了RIS证据不可用这一具有挑战性的场景。我们引入了NewsRECON,一种将图像与相关新闻文章关联起来,以从文章元数据中推断其日期和地点的方法。NewsRECON利用一个包含超过90,000篇文章的语料库,并集成了:(1)一个用于检索事件相关文章的双编码器;(2)两个用于根据地点和事件一致性对文章进行重排序的交叉编码器。在TARA和5Pils-OOC数据集上的实验表明,NewsRECON优于先前的工作,并且可以与多模态大语言模型结合,在缺乏RIS证据的情况下达到新的SOTA结果。我们公开了我们的代码。
引用
@article{arxiv.2601.14121,
title = {NewsRECON: News article REtrieval for image CONtextualization},
author = {Jonathan Tonglet and Iryna Gurevych and Tinne Tuytelaars and Marie-Francine Moens},
journal= {arXiv preprint arXiv:2601.14121},
year = {2026}
}
备注
Preprint under review. Code available at https://github.com/jtonglet/arxiv2025-newsrecon