LongEval-Retrieval：用于持续 Web 搜索评估的法英双语动态测试集
信息检索
2023-04-28 v2
摘要
LongEval-Retrieval 是一个聚焦于持续检索评估的 Web 文档检索基准。该测试集旨在用于研究信息检索系统的时间持久性，并将作为 CLEF 2023 上模型性能纵向评估赛道（LongEval）的测试集。该基准模拟了一个演化的信息系统环境——例如 Web 搜索引擎所处的环境——其中文档集合、查询分布和相关性均持续变化，同时遵循用于离线评估的 Cranfield 范式。为此，我们引入了动态测试集的概念，其由代表信息系统在给定时间步状态的连续子集合构成。在 LongEval-Retrieval 中，每个子集合包含一组查询、文档以及由点击模型构建的软相关性判定。数据来自 Qwant，一家主要关注法国市场、注重隐私保护的 Web 搜索引擎。LongEval-Retrieval 还提供了一个“镜像”集合：其最初以法语构建以利用 Qwant 的大部分流量，之后再被翻译为英语。本文介绍了 LongEval-Retrieval 的构建过程，并提供了基线运行与分析。
引用
@article{arxiv.2303.03229,
title = {LongEval-Retrieval: French-English Dynamic Test Collection for Continuous Web Search Evaluation},
author = {Petra Galuščáková Romain Deveaud and Gabriela Gonzalez-Saez and Philippe Mulhem and Lorraine Goeuriot and Florina Piroi and Martin Popel},
journal= {arXiv preprint arXiv:2303.03229},
year = {2023}
}