ORCAS-I：基于弱监督标注意图的查询数据集
信息检索
2022-09-28 v2
摘要
用户意图分类是信息检索中的一项重要任务。在本工作中，我们引入了一种修订后的用户意图分类体系。我们以广泛使用的导航式、事务式和信息式查询的区分为起点，并为信息式查询识别出三个不同的子类：工具型、事实型和弃答型。由此产生的用户查询分类更为细粒度，在标注者之间达到了高度的一致性，并且可以作为有效自动分类过程的基础。新引入的类别有助于区分检索系统可据以行动的查询类型，例如通过在排序中优先处理不同类型的结果。我们采用了一种基于 Snorkel 的弱监督方法，根据我们的新用户意图分类体系来标注 ORCAS 数据集，利用既有的启发式规则和关键词来构建意图类别预测规则。随后我们展示了一系列使用多种机器学习模型的实验，以弱监督阶段的标签作为训练数据，但发现这些竞争方法并未超越 Snorkel 产生的结果，后者可被视为最先进的。像 Snorkel 这类基于规则的方法的优势在于其在实际系统中的高效部署，其中意图分类将对发出的每个查询执行。本文发布的资源是 ORCAS-I 数据集：一个基于点击的 Web 查询 ORCAS 数据集的标注版本，提供了 1800 万条连接到 1000 万个不同查询的关联。
引用
@article{arxiv.2205.00926,
title = {ORCAS-I: Queries Annotated with Intent using Weak Supervision},
author = {Daria Alexander and Wojciech Kusa and Arjen P. de Vries},
journal= {arXiv preprint arXiv:2205.00926},
year = {2022}
}
备注
presented at SIGIR 2022 (resource track)