面向神经信息检索的选择性弱监督
信息检索
2020-01-29 v1
摘要
本文使神经信息检索普及至缺乏大规模相关性训练信号的场景。我们重访经典 IR 直觉，即锚文本-文档关系近似查询-文档相关性，并提出一种强化弱监督选择方法 ReInfoSelect，其学习选择最能弱监督神经排序器（动作）的锚文本-文档对，使用少量相关性标签上的排序性能作为奖励。迭代地，对于一批锚文本-文档对，ReInfoSelect 通过神经排序器反向传播梯度，收集其 NDCG 奖励，并使用策略梯度优化数据选择网络，直至神经排序器在目标相关性指标上性能达到峰值（收敛）。在三个 TREC 基准上的实验中，仅使用公开可用锚数据、由 ReInfoSelect 训练的神经排序器显著优于基于特征的学习排序方法，并匹配使用私有商业搜索日志训练的神经排序器的效果。我们的分析表明，ReInfoSelect 能有效基于神经排序器训练阶段选择弱监督信号，并直观地挑选与查询-文档对相似的锚文本-文档对。
引用
@article{arxiv.2001.10382,
title = {Selective Weak Supervision for Neural Information Retrieval},
author = {Kaitao Zhang and Chenyan Xiong and Zhenghao Liu and Zhiyuan Liu},
journal= {arXiv preprint arXiv:2001.10382},
year = {2020}
}
备注
Accepted by WWW 2020