REANIMATOR：利用提取和合成资源复活检索测试集
信息检索
2025-04-11 v1
摘要
检索测试集对于评估信息检索系统至关重要，但它们通常缺乏跨任务的泛化能力。为克服这一局限，我们提出了REANIMATOR，一个通用框架，旨在通过丰富提取和合成资源来复用现有测试集。REANIMATOR从PDF文件中解析全文和机器可读表格以及相关上下文信息来增强测试集，然后采用最先进的大语言模型生成合成相关性标签。包含可选的人机交互步骤有助于验证已提取和生成的资源。我们通过TREC-COVID测试集的复活版本展示了其潜力，展示了检索增强生成系统的开发，并评估了表格对检索增强生成的影响。REANIMATOR使得测试集能够用于新应用，降低了成本并扩展了遗留资源的实用性。
引用
@article{arxiv.2504.07584,
title = {REANIMATOR: Reanimate Retrieval Test Collections with Extracted and Synthetic Resources},
author = {Björn Engelmann and Fabian Haak and Philipp Schaer and Mani Erfanian Abdoust and Linus Netze and Meik Bittkowski},
journal= {arXiv preprint arXiv:2504.07584},
year = {2025}
}