最佳情形检索评估：以词典精度提升倒数排名的敏感性
信息检索
2023-06-14 v1
摘要
在各类排序任务中，研究者使用倒数排名来衡量对恰好一个相关条目感兴趣的用户的有效性。尽管被广泛使用，有证据表明倒数排名在区分系统时是脆弱的。这种脆弱性在现代评估设定中进一步加剧，其中当前的高精度系统可能难以区分。我们通过引入最佳情形检索这一概念并将其与倒数排名相联系，来解决倒数排名缺乏敏感性的问题；最佳情形检索是一种评估方法，侧重于在可能的召回需求下评估对最满意可能用户的排序质量。这一视角使我们能够推广倒数排名并定义一种我们称为词典精度（lexicographic precision 或 lexiprecision）的基于偏好的新评估。通过数学构造，我们确保词典精度保留倒数排名所检测到的差异，同时在广泛的检索和推荐任务中实证地改善敏感性和鲁棒性。
引用
@article{arxiv.2306.07908,
title = {Best-Case Retrieval Evaluation: Improving the Sensitivity of Reciprocal Rank with Lexicographic Precision},
author = {Fernando Diaz},
journal= {arXiv preprint arXiv:2306.07908},
year = {2023}
}