高召回率与少量数据：在线法律搜索系统中系统内评估面临的挑战
信息检索
2024-03-29 v1
摘要
本文阐述了法律信息检索（IR）中常见排序评估方法的一些挑战。我们利用来自在线法律搜索系统的日志数据和两项用户研究展示了这些挑战。我们概述了法律 IR 的各个层面，以及这些层面对于常见评估方法（基于显式和隐式反馈的测试集、用户调查以及 A/B 测试）预期挑战的影响。接着，我们利用来自在线商业法律搜索引擎的数据说明了常见评估方法面临的挑战。我们特别关注用于监控单一 IR 系统的文档排序随时间进行（持续）变更的有效性的方法。我们展示了法律 IR 系统特征与有限用户数据的结合如何导致挑战，使得所讨论的常见评估方法表现次优。因此，在未来的工作中，我们将重点关注不太常见的评估方法，例如基于成本的评估模型。
引用
@article{arxiv.2403.18962,
title = {High Recall, Small Data: The Challenges of Within-System Evaluation in a Live Legal Search System},
author = {Gineke Wiggers and Suzan Verberne and Arjen de Vries and Roel van der Burg},
journal= {arXiv preprint arXiv:2403.18962},
year = {2024}
}