QUEST：具有隐式集合操作的实体搜寻查询检索数据集
计算与语言
2023-06-01 v2
摘要
表述选择性信息需求会产生隐式指定集合操作（如交集、并集和差集）的查询。例如，人们可能搜索“不是鹬类的滨鸟”或“在英格兰拍摄的科幻电影”。为研究检索系统满足此类信息需求的能力，我们构建了 QUEST，一个包含 3357 条具隐式集合操作的自然语言查询的数据集，这些查询映射到对应维基百科文档的实体集合。该数据集挑战模型将查询中提到的多个约束与文档中的相应证据匹配，并正确执行各种集合操作。数据集利用维基百科分类名半自动构建。查询由单个类别自动组合而成，然后由众包工作者改写并进一步验证自然性与流畅性。众包工作者还基于文档评估实体相关性，并高亮查询约束到文档文本片段的归因。我们分析若干现代检索系统，发现它们常在此类查询上表现不佳。涉及否定与合取的查询尤其具挑战性，而这些操作的组合进一步增加了系统难度。
引用
@article{arxiv.2305.11694,
title = {QUEST: A Retrieval Dataset of Entity-Seeking Queries with Implicit Set Operations},
author = {Chaitanya Malaviya and Peter Shaw and Ming-Wei Chang and Kenton Lee and Kristina Toutanova},
journal= {arXiv preprint arXiv:2305.11694},
year = {2023}
}
备注
ACL 2023; Dataset available at https://github.com/google-research/language/tree/master/language/quest