HLATR：利用混合列表感知 Transformer 重排序增强多阶段文本检索
信息检索
2022-05-24 v1 计算与语言
摘要
深度预训练语言模型（如 BERT）在大规模文本检索任务中十分有效。由于预训练语言模型的高计算成本和语料库规模庞大，现有具备最优性能的文本检索系统通常采用先检索后重排序的架构。在此多阶段架构下，以往研究主要聚焦于优化框架中的单个阶段从而提升整体检索性能。然而，如何直接耦合多阶段特征进行优化尚未得到充分研究。本文设计混合列表感知 Transformer 重排序 (HLATR) 作为后续重排序模块，以融合检索与重排序两阶段特征。HLATR 轻量且可与现有文本检索系统轻松并行，从而重排序过程可在单一而高效的处理中完成。在两个大规模文本检索数据集上的实证实验表明，HLATR 能高效提升现有多阶段文本检索方法的排序性能。
引用
@article{arxiv.2205.10569,
title = {HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking},
author = {Yanzhao Zhang and Dingkun Long and Guangwei Xu and Pengjun Xie},
journal= {arXiv preprint arXiv:2205.10569},
year = {2022}
}
备注
Work in progress. HLAR part of the "AliceMind SLM + HLAR" method in MS MARCO Passage Ranking Submission