SEINE：基于片段的神经网络信息检索索引方法
信息检索
2023-11-28 v1
摘要
许多早期的神经信息检索（NeurIR）方法是重排序器，由于查询时计算代价高昂而依赖传统的第一阶段检索器。近来，基于表示的检索器备受关注，其分别学习查询表示与文档表示，使得文档表示可离线预计算并减少查询时工作量。稠密与稀疏基于表示的检索器均已被探索。然而，这些方法聚焦于寻找最能代表文本（即度量学习）的表示，而负责查询与文档间相似度匹配的实际检索函数通过使用点积被保持在最小程度。一个缺陷是，与传统词项级倒排索引不同，这些嵌入形成的索引无法轻易被另一种检索方法复用。另一缺陷是，将交互保持在最小程度损害了检索效果。相反，基于交互的检索器以其更好的检索效果著称。本文提出一种新颖的基于片段的神经索引方法 SEINE，其提供一个通用索引框架，可灵活支持多种基于交互的神经检索方法。我们着重于对现有神经检索方法中常见组件的细致分解，并提议使用片段级倒排索引来存储原子查询-文档交互值。在 LETOR MQ2007 与 MQ2008 数据集上的实验表明，我们的索引方法可加速多种神经检索方法达 28 倍且不牺牲太多效果。
引用
@article{arxiv.2311.15923,
title = {SEINE: SEgment-based Indexing for NEural information retrieval},
author = {Sibo Dong and Justin Goldstein and Grace Hui Yang},
journal= {arXiv preprint arXiv:2311.15923},
year = {2023}
}