以查询生成弥合可微搜索索引中索引与检索的鸿沟
信息检索
2023-07-10 v3 计算与语言
摘要
可微搜索索引（DSI）是一种新兴的信息检索范式。与传统检索架构中索引与检索为两个不同且分离的组件不同，DSI使用单一的transformer模型同时执行索引与检索。本文中，我们识别并解决了当前DSI模型的一个重要问题：DSI索引与检索过程间出现的数据分布失配。具体而言，我们认为在索引阶段，当前DSI方法学习建立长文档文本与文档标识符之间的联系，但文档标识符的检索却基于通常比索引文档短得多的查询。当将DSI用于跨语言检索时，文档文本与查询文本分属不同语言，该问题进一步加剧。为解决当前DSI模型这一根本问题，我们提出一种简单而有效的DSI索引框架，称为DSI-QG。在索引时，DSI-QG用查询生成模型生成、并经交叉编码器排序器重排与过滤的若干潜在相关查询来表示文档。这些查询在索引时的存在使DSI模型能将文档标识符与一组查询相连，从而缓解索引与检索阶段间的数据分布失配。在常用单语与跨语言段落检索数据集上的实证结果表明，DSI-QG显著优于原始DSI模型。
引用
@article{arxiv.2206.10128,
title = {Bridging the Gap Between Indexing and Retrieval for Differentiable Search Index with Query Generation},
author = {Shengyao Zhuang and Houxing Ren and Linjun Shou and Jian Pei and Ming Gong and Guido Zuccon and Daxin Jiang},
journal= {arXiv preprint arXiv:2206.10128},
year = {2023}
}
备注
11 pages