信息检索实验平台

我们将 ir_datasets、ir_measures 和 PyTerrier 与 TIRA 集成于信息检索实验平台（TIREx）中，以促进更标准化、可复现、可扩展乃至盲评的检索实验。当某一检索方法实现了 PyTerrier 的接口，且实验的输入输出与 ir_datasets 和 ir_measures 兼容时，即实现了标准化。然而，对于可复现性与可扩展性而言，这些均非必需，因为 TIRA 可在云原生执行环境中本地或远程运行任何容器化软件。版本控制与缓存保障了高效的（重新）执行。当实验运行在实验者不可控的远程服务器或云上时，TIRA 支持盲评。此时测试数据与真值对公开访问隐藏，检索软件须在防止数据泄漏的沙箱中处理它们。我们当前托管了一个 TIREx 实例，包含 15 个语料库（19 亿篇文档），并基于此设立了 32 个共享检索任务。利用 50 个标准检索方法的 Docker 镜像，我们在一周内在中型集群（1,620 个 CPU 核与 24 个 GPU）上自动对所有任务评估了所有方法（50 $\cdot$ 32 = 1,600~次运行）。该 TIREx 实例开放提交，并将与 IR Anthology 集成，同时以开源形式发布。