面向第一阶段检索的上下文感知句/段术语重要性估计
信息检索
2019-11-28 v2
摘要
词频是识别查询或文档中术语重要性的常用方法。但它是一个弱信号，尤其在频率分布平坦时，例如长查询或短文档中文本为句子/段落长度的情况。本文提出一种深度上下文术语加权框架，学习将 BERT 的上下文文本表示映射为句子和段落的上下文感知术语权重。应用于段落时，DeepCT-Index 生成的术语权重可存储于普通倒排索引中以用于段落检索。应用于查询文本时，DeepCT-Query 生成加权词袋查询。这两类术语权重均可被典型的第一阶段检索算法直接使用。这具有新颖性，因为大多数基于深度神经网络的排序模型计算成本更高，因而仅限于后阶段排序器。在四个数据集上的实验表明，DeepCT 的深度上下文文本理解大幅提升了第一阶段检索算法的准确率。
引用
@article{arxiv.1910.10687,
title = {Context-Aware Sentence/Passage Term Importance Estimation For First Stage Retrieval},
author = {Zhuyun Dai and Jamie Callan},
journal= {arXiv preprint arXiv:1910.10687},
year = {2019}
}