演化语料库中可复现的混合时空检索
信息检索
2024-11-07 v1
摘要
在可复现排名列表的情况下，提取演化文档语料库的子集用于下游研究任务或在专利检索或医学系统综述等领域具有高度可复现性要求。然而，随着文档变更或添加到语料库中，全局词统计发生变化，使用典型排名检索模型的查询即使针对未变更的文档语料库部分也无法实现可复现。因此，布尔检索在此类场景中仍是首选机制。我们提出了一种混合检索系统，将 Lucene 用于快速检索，同时采用基于列式存储的数据库维护带版本和时间戳的索引。后者组件允许重新执行先前提出的查询，生成相同的排名列表，并进一步允许对演化集合（如网页档案）进行时空查询，同时保持原始排名。因此，即使文档集合及其导致的词统计发生变化，演化文档集合的检索结果完全可复现。
引用
@article{arxiv.2411.04051,
title = {Reproducible Hybrid Time-Travel Retrieval in Evolving Corpora},
author = {Moritz Staudinger and Florina Piroi and Andreas Rauber},
journal= {arXiv preprint arXiv:2411.04051},
year = {2024}
}