融合任务与用户特征的 IR 评测蓝图：测试集与评测指标
信息检索
2023-05-02 v1
摘要
相关性通常被理解为信息需求与信息对象之间多层次、多维度的关系。然而，传统 IR 评测指标朴素地假设了单维性。我们追问：如何在 IR 评测中处理多维与分级相关性判定？此外，搜索结果评测指标忽略文档重叠，并朴素地假设随着搜索者检阅排序列表至更长篇幅，收益不断累积。因而我们考察：如何在 IR 评测中处理文档重叠？对有需求者而言，文档的可用性还取决于超越相关性的文档可用性属性。因此我们追问：如何处理可用性属性，并将其与 IR 评测中的多维相关性判定相结合？最后，我们追问如何定义一个形式化模型，在统一框架中处理多维分级相关性判定、文档重叠与文档可用性属性以服务于 IR 评测？
引用
@article{arxiv.2305.00747,
title = {A Blueprint of IR Evaluation Integrating Task and User Characteristics: Test Collection and Evaluation Metrics},
author = {Kal Jarvelin and Eero Sormunen},
journal= {arXiv preprint arXiv:2305.00747},
year = {2023}
}
备注
29 pages, 22 figures