少即是少：摘要何时不足以支撑人类与机器的相关性判定？
信息检索
2022-01-24 v1 人工智能
机器学习
摘要
传统的信息检索（IR）排序模型处理文档的全文。然而，基于 Transformer 的新模型在处理长文本时会产生高昂的计算成本，因此通常仅使用文档的摘要片段。模型基于文档的 URL、标题与摘要片段（UTS）的输入，类似于搜索引擎结果页（SERP）上出现的、帮助搜索者决定点击哪条结果的摘要。这引发了若干问题：此类摘要何时足以供排序模型或人工评估者进行相关性估计，以及人类与机器是否以相似方式从文档全文中获益。为回答这些问题，我们基于从 Bing 搜索日志中采样的 1.2 万条查询-文档，研究了人类与神经网络模型的相关性评估。我们比较了仅暴露文档摘要与同时暴露全文时相关性评估的变化，考察了一系列查询与文档属性，例如查询类型、摘要长度。我们的发现表明，全文对于人类与 BERT 模型在相似的查询与文档类型（如长尾、长查询）上均有益处。然而更细致的观察揭示，人类与机器对额外输入的反应方式截然不同。添加全文也可能损害排序器的性能，例如对于导航型查询。
引用
@article{arxiv.2201.08721,
title = {Less is Less: When Are Snippets Insufficient for Human vs Machine Relevance Estimation?},
author = {Gabriella Kazai and Bhaskar Mitra and Anlei Dong and Nick Craswell and Linjun Yang},
journal= {arXiv preprint arXiv:2201.08721},
year = {2022}
}