多阶段对话段落检索：融合词项重要性估计与神经查询重写的方法
计算与语言
2021-03-12 v2 人工智能
信息检索
摘要
对话式搜索在对话式信息寻求中起着至关重要的作用。由于自然语言对话中固有的共指和省略消解问题，信息寻求对话中的查询对于传统的即席信息检索（IR）系统来说是模糊的，因此消解这些歧义至关重要。在本文中，我们通过将查询重构集成到多阶段即席 IR 系统中来解决查询歧义，从而应对对话式搜索的一个重要组成部分——对话段落检索（ConvPR）。具体来说，我们提出了两种对话查询重构（CQR）方法：（1）词项重要性估计和（2）神经查询重写。对于前者，我们使用基于频率的信号从对话上下文中提取重要词项来扩展对话查询。对于后者，我们使用预训练的序列到序列模型将对话查询重构为自然、独立、人类可理解的查询。我们对这两种 CQR 方法进行了定量和定性的详细分析，解释了它们的优点、缺点和不同的行为。此外，为了利用两种 CQR 方法的优势，我们提出使用倒数秩融合来组合它们的输出，从而获得了最先进的检索效果，在 NDCG@3 指标上相比 TREC CAsT 2019 的最佳提交结果提升了 30%。
引用
@article{arxiv.2005.02230,
title = {Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting},
author = {Sheng-Chieh Lin and Jheng-Hong Yang and Rodrigo Nogueira and Ming-Feng Tsai and Chuan-Ju Wang and Jimmy Lin},
journal= {arXiv preprint arXiv:2005.02230},
year = {2021}
}
备注
28 pages. Accepted to ACM Transactions on Information Systems, Special Issue on Conversational Search and Recommendation. The first two authors contributed equally. Code: https://github.com/castorini/chatty-goose