用于稀疏标签信息检索系统离线评估的 Fréchet 距离
信息检索
2024-02-20 v2
摘要
自然语言处理、信息检索(IR)、计算机视觉和其他技术的快速发展给评估这些系统的性能带来了重大挑战。主要挑战之一是人工标注数据的稀缺性,这阻碍了对这些系统的公平准确评估。在这项工作中,我们特别关注评估具有稀疏标签的 IR 系统,借鉴了最近关于评估计算机视觉任务的研究,并从使用 Fréchet Inception Distance (FID) 评估文本到图像生成系统的成功中获得了启发。我们建议利用 Fréchet 距离来衡量相关判定项分布与检索结果分布之间的距离。我们在 MS MARCO V1 数据集和 TREC Deep Learning Tracks 查询集上的实验结果证明了 Fréchet 距离作为评估 IR 系统的指标的有效性,特别是在只有少量标签可用的情况下。这种方法有助于推进现实场景中评估方法的发展,例如生成式 IR 系统的评估。
关键词
引用
@article{arxiv.2401.17543,
title = {Fr\'echet Distance for Offline Evaluation of Information Retrieval Systems with Sparse Labels},
author = {Negar Arabzadeh and Charles L. A. Clarke},
journal= {arXiv preprint arXiv:2401.17543},
year = {2024}
}