搜索澄清中的在线与离线评估
信息检索
2024-03-15 v1
摘要
目前,澄清问题模型在搜索系统中吸引用户参与的有效性受到限制,令人对其整体效用产生怀疑。为了提高这些模型的性能,至关重要的是采用既包含用户实时反馈(在线评估)又包含通过人工评估判定的澄清问题特征(离线评估)的评估方法。然而,在线与离线评估之间的关系在信息检索领域一直存在争议。本研究旨在探究这种不一致性在搜索澄清中的表现。我们以用户参与度作为真实标准,并使用多种离线标签来研究离线排序的澄清问题列表在多大程度上与基于在线用户参与度的理想排序列表相似。
引用
@article{arxiv.2403.09180,
title = {Online and Offline Evaluation in Search Clarification},
author = {Leila Tavakoli and Johanne R. Trippas and Hamed Zamani and Falk Scholer and Mark Sanderson},
journal= {arXiv preprint arXiv:2403.09180},
year = {2024}
}
备注
27 pages